
Googleは、文章や画像、音声、動画を扱うオープンな埋め込みモデル「EmbeddingGemma 2」を公開しました。 テキスト専用だった初代から対応形式を広げ、異なる形式のデータを共通の数値表現に変換できます。 学習方法や評価手法、実験結果を記した技術報告書も公開しています。
文章と画像、音声、動画を共通の空間へ
埋め込みモデルは、入力の内容を数値の並びであるベクトルに変換するAIモデルです。 EmbeddingGemma 2は、文章、画像、音声、動画を共通の768次元のベクトル空間に配置します。 複数の形式を組み合わせた入力も扱えます。
この共通空間では、異なる形式の入力同士でも意味の近さを比較できます。 例えば、文章で指定した内容に近い画像や音声、動画を検索できます。 画像同士の類似度を比べることも可能です。
複数形式の入力を一つの表現にまとめることもできます。 例えば、画像と文章、文章と音声を組み合わせ、それぞれを比較可能な一つの埋め込みに変換できます。 検索のほか、似たデータの分類やグループ分けにも利用可能です。
初代から入力形式を拡大、文章部分は小型化
初代EmbeddingGemmaは、文章を対象とする3億800万パラメータのモデルでした。 EmbeddingGemma 2は画像、音声、動画にも対応し、全機能を合わせると7億4000万パラメータです。 パラメータは、モデルが学習によって調整する値です。
EmbeddingGemma 2の文章部分は2億7000万パラメータで、画像処理用と音声処理用の部品を組み合わせます。 画像用は1億7000万、音声用は3億パラメータです。 必要な形式に応じて、これらの部品を選んで読み込めます。
文章だけなら2億7000万パラメータで動作します。 文章と画像では4億4000万、文章と音声では5億7000万パラメータです。 全形式を使う構成は7億4000万パラメータになります。
形式をまたぐ検索と端末上での利用
EmbeddingGemma 2は、一般向けのGPUやCPUを使い、端末上でオフライン実行できます。 検索に加え、外部情報を検索して生成AIの回答に利用するRAGや、事前に個別の学習を行わない分類にも使えます。 モデルの重みはApache 2.0ライセンスで公開され、追加学習やアプリへの組み込みが可能です。
共通の空間を使うため、文章から生成したベクトルと、画像や音声から生成したベクトルを比較できます。 動画についても、文章との類似度を用いた検索が可能です。 文章とメディアを一つの入力に交互に組み込むこともできます。
モデルはGoogle DeepMindが開発しました。 携帯端末やノートパソコンなどでの動作を想定しています。 テキストにはソースコードも含まれ、検索や分類などに利用できます。
入力の長さとメディア形式
一つの入力で使えるコンテキスト長は8,192トークンです。 トークンはモデルが入力を処理する際の単位です。 文章と画像、音声、動画を組み合わせる場合も、この長さを共有します。
動画はMP4形式を扱い、初期設定では1秒につき1フレームを抽出します。 動画はファイルパスで渡せます。 画像と音声はURLでも渡せ、音声は16kHzのモノラル音声が想定されています。
画像や動画の各フレームに割り当てるトークン数は、70、140、280、560、1120から調整できます。 割り当てを増やすと、処理時間やトークン数と品質の間にトレードオフが生じます。 動画のフレーム抽出率も変更可能です。
出力次元と検索結果の比較
出力ベクトルは通常の768次元に加え、512、256、128次元に短縮できます。 次元を短くすると保存量を減らせますが、品質にも影響します。 検索する側と検索対象のベクトルは、同じ次元にそろえる必要があります。
Googleは、256次元では画像、動画、音声の検索品質について、元の約95%を維持するとしています。 128次元では保存量を6分の1にできます。 Googleは同じ設定で、画像、動画、音声の検索品質が元の約75%になるとしています。
評価では、多言語テキストのMTEBベンチマークでEmbeddingGemma 2が61.36、初代が61.15でした。 コードのMTEBでは、それぞれ78.68と68.76でした。 これらは768次元の出力を使った評価結果です。









