Google、ワールドモデル「Genie 4」をGemini APIとAI Studioで提供
出典: deepmind.google

Googleは、対話的な仮想世界を生成する「Genie 4」を、Gemini APIとGoogle AI Studioで開発者向けに提供しました。テキストや参照画像から、音声が同期した720p・毎秒24フレームの世界を連続生成できます。

テキストや画像から世界を生成

Genie 4は、操作に応じて場面が変化するワールドモデルです。開発者はテキスト、参照画像、またはその両方を使って世界を生成できます。Gemini APIではInteractions APIを通じて利用します。

生成した環境内は、キーボードで移動できます。操作中にテキストで指示を追加し、その場で天候や照明、物体、出来事を変更することも可能です。

Google AI Studioには、対話的なキャンバスとスターターアプリが用意されています。Googleは用途として、対話型体験の試作や空間的な概念の可視化、ロボットやAIエージェントの訓練を想定しています。

環境音や会話を世界と同時に生成

Genie 4は、生成する世界に合わせて音声も作ります。環境音や効果音に加え、登場人物の会話も生成できます。映像と音声は同期します。

Google DeepMindによると、Genie 4は音声をネイティブに生成する同社初のリアルタイムワールドモデルです。生成される音には、音楽や風、波などの環境音が含まれます。人物の会話は、利用者の入力や世界の中で起きた出来事に応じて変化します。

音声を伴う例として、霧のかかる湖の上に浮かぶ場所で、人物がサクソフォンを演奏する場面があります。この例では、カメラを人物から切り離して環境内を移動させる指示が使われています。湖の水や風の音、楽器の音も場面に含まれます。

操作中の指示で天候や登場人物を変更

自然言語の指示では、天候の変更やカメラの移動、新しい人物や物体の追加ができます。Geminiは指示を周囲の場面に合わせて解釈します。Googleは、入力の合間にもGeminiが場面を監視し、つながりを保つよう調整するとしています。

生成例には、花が咲く草原を風になびく布が横切る場面があります。別の例では、南極の氷原の上を飛ぶ気球のかごから周囲を見る視点が使われています。いずれも環境と、そこに置く対象をテキストで指定しています。

Google DeepMindは、人物の動きや環境への反応、物体の衝突などの表現が進んだとしています。物理現象の例には空気力学や衝突を挙げています。人物もリアルタイムの指示で動かせます。

Geminiが外観と場面の連続性を支える

Genie 4には、Geminiファミリーの機能が組み込まれています。Gemini Omniは、シミュレーションの外観や振る舞いを現実世界に結び付ける役割を担います。ほかのGeminiモデルは、場面の一貫性と連続性を保つための推論に使われます。

Googleは、Geminiの推論によって生成中の世界の状態を一貫させるとしています。

Google DeepMindは、信頼できるテスターに向けた研究プレビューの提供も進めてきました。その後の提供先として、Project GenieのGoogle AI Ultra加入者や、Gemini APIとGoogle AI Studioの早期アクセスパートナーを挙げていました。

すべての出力にSynthIDを付与

Genie 4のすべての出力には、視認できない電子透かし「SynthID」が付与されます。

Googleは開発者向けに料金の詳細とAPIドキュメントも案内しています。