Googleは、テキストやコードに加え、画像、動画、音声を共通の埋め込み空間に写す「EmbeddingGemma 2」を公開しました。740Mパラメーターのモデルで、端末上で複数種類のデータを横断検索する用途を想定しています。Apache 2.0ライセンスで提供され、使うデータに応じてモデル構成を選べます。
テキストから音声までを共通の空間で扱う
埋め込みとは、文章や画像などを数値ベクトルに変換し、意味の近さを比較できるようにする表現です。EmbeddingGemma 2は、モダリティごとのエンコーダーで入力を処理し、結果を768次元の共通空間に配置します。
この構成では、テキストの検索語と画像や音声の埋め込みを意味的な類似度で照合できます。Googleは、テキストの検索語で写真や録音を探す例を示し、動画や音声を含む入力も同じ空間で比較できると説明しています。
動画は画像用エンコーダーでフレームを処理し、音声には専用エンコーダーを使います。テキストとメディアを組み合わせた入力にも対応し、Gemma 4と共通のテキストトークナイザーおよび音声エンコーダーを使う設計です。Googleは、この共有により、両モデルを組み合わせる端末上の検索拡張生成（RAG）で合計メモリーを抑えられるとしています。
必要なエンコーダーだけを読み込める
モデルは構成を選んで読み込めます。テキストとコードは270Mパラメーター、画像処理を加えると440M、音声処理を加えると570M、すべての対応モダリティを使う構成は740Mです。使わないエンコーダーを読み込まない設定にできるため、テキストだけを検索する用途では全構成を常時使う必要はありません。
出力ベクトルの次元数は、標準の768から512、256、128へ短縮できます。これはMatryoshka Representation Learning（MRL）を利用する機能で、Googleはベクトル保存に必要な容量を最大6分の1にできるとしています。開発者ガイドの例では、bfloat16で100万件を保存する場合、768次元では約1.5GB、128次元では約250MBです。
ただし、次元数を短くすると検索品質も変わります。開発者ガイドによると、256次元ではテキストとコードの品質の大部分を保ち、画像、動画、音声検索では元の品質の約95%を保つ一方、128次元ではテキストとコードが約90%、画像、動画、音声が約75%です。そのため、保存容量とマルチモーダル検索の品質のどちらを優先するか、用途に応じて設定を選べます。
コード検索の評価と音声ベンチマーク
Googleによると、MTEB CodeでのスコアはEmbeddingGemmaの68.76からEmbeddingGemma 2の78.68に上がりました。MTEB Codeはコード関連の埋め込み性能を比較する評価で、Googleはローカルのコードベース検索やコーディングエージェントの検索用途を挙げています。
音声分野の評価に使われるMAEB（Massive Audio Embedding Benchmark）は、音声埋め込みを分類、検索、クラスタリングなど複数の課題で測るベンチマークです。対象には音声と言語をまたぐ検索も含まれ、30課題を通じて音声、音楽、環境音などを評価します。
MAEBの評価論文では、評価したモデルのうち全課題で優位に立つ単一モデルはなく、音響的な特徴を捉える性能と言語的な内容を扱う性能が異なる場合もあると報告しています。GoogleはEmbeddingGemma 2について、MAEBを含む複数の評価で1B未満のマルチモーダル埋め込みモデルとして高いスコアを得たとしています。
端末での利用と開発環境
Googleは、端末内で埋め込みを生成することで、データを端末外へ送らずに検索でき、オフラインでの利用にもつながると説明しています。量子化した場合、Pixel 11 Proで必要なアクティブRAMは、テキストのみの構成で約191MB、全モダリティの構成で約567MBとされています。
入力可能なコンテキストは8,192トークンで、単一モダリティの場合、音声は最大約5.5分、画像は29枚、動画は58フレームを処理できます。動画は開発者ガイドの既定設定では毎秒1フレームをサンプリングし、音声入力は16kHzのモノラルが想定されています。
モデルの重みはHugging FaceとKaggleで提供され、端末向けの実装にはMediaPipeやLiteRT、ブラウザー向けにはTransformers.jsやWebGPUが案内されています。Googleは、メディア検索や動画の場面検索を試せるGoogle AI Edge Galleryのデモも紹介しています。
