higurashi、音声対話モデル「Haru 4B」を無償公開

higurashiは、相手の音声を聞きながら発話できる音声対話モデル「Haru 4B」を無償公開しました。相づちや割り込みを含む会話に対応する全二重方式を採用し、モデルの重みと推論コードを利用できます。

モデルの重みと推論コードを公開

Haru 4Bは、学習済みパラメータであるモデルの重みを公開する、オープンウェイトの音声対話モデルです。事前学習を終えたベースモデルが、研究用途に向けて提供されています。

モデルの重みは、AIモデルを共有できるHugging Faceで公開されています。推論コードは、ソフトウェア開発のためのGitHubで公開され、重みとコードにはApache License 2.0が適用されます。

higurashiは音声対話モデルの研究開発に取り組んでいます。今後は、より大規模なモデルの開発も進める方針です。また、11月26日には東京都の本郷三丁目周辺でミートアップを開催する予定です。

音声とテキストを同じ時間軸で処理

一般的なカスケード型の音声対話では、音声認識、言語モデルによる応答生成、音声合成を順番に行います。higurashiは、この方式には遅延が生じるほか、文字起こしに表れない抑揚や感情などを十分に活用しにくい課題があるとしています。Haru 4Bは音声を直接扱い、入力と出力を並行して処理します。

モデルが扱う情報は、利用者の音声、モデル自身の音声、テキストの3つの流れです。これらを同じ時間軸で同期し、約133ミリ秒ごとに情報を統合して単一の言語モデルで処理します。利用者の声を聞き続けながら、音声とテキストを生成する仕組みです。

higurashiは、何を答えるかに加え、いつ、どのように応じるかを学習するとしています。会話の切り替わりや相づち、割り込みに対応するほか、発話が重なる会話も学習できます。

日本語や英語など9言語に対応

事前学習には、日本語や英語を含む4000万時間の多言語音声データを使用しました。対応言語は日本語、英語、中国語、韓国語、スペイン語、ポルトガル語、ドイツ語、フランス語、ロシア語の9言語です。モデルは4Bパラメータのベースモデルです。

テキストでキャラクターを設定する機能があります。短い音声クリップを使って、モデルが話す声も設定できます。音声クリップはモデルに同梱されておらず、1人の話者による3秒から3分の明瞭な音声を用意します。

公開デモには、日本語の経済や子育てに関する雑談、英語の映画や投資に関する会話があります。日本語の電話デモには男性と女性の声が用意されています。電話デモは予告なく停止することがあります。

GPUとMacでの実行環境

公開された実装には、機械学習向けのPyTorchを使ったウェブデモがあります。NVIDIAのGPUを使う実行例では、約12GBのGPUメモリが目安です。Apple Silicon搭載Mac向けには、MLXを使ったネイティブアプリも用意されています。

higurashiは、Apple M1 Max搭載MacBookのネイティブアプリで、入出力を含む遅延を約65ミリ秒と報告しています。この測定には、有線マイクとヘッドホンの入出力、音声の符号化・復号、モデルの推論が含まれます。音声をフレームに区切る処理では、さらに最大133ミリ秒の遅延が生じます。

GPUサーバー向けには、モデルを提供するためのvLLM-Omni用プラグインもあります。higurashiは、NVIDIA B300 GPUで音声の符号化・復号と言語モデルの1ステップの処理に約15ミリ秒かかると報告しています。公開モデルは事実を得るための信頼できる情報源ではなく、アシスタントのように指示に従うものではないとされています。

音声を連続した特徴量として生成

Haru 4Bは、音声を連続した特徴量に変換するVibeVoiceの音声トークナイザーを採用しています。音声は1秒あたり7.5個の特徴量で表現され、各フレームの音声は64次元の潜在表現として扱われます。

音声を生成する部分には、小規模な多層パーセプトロンと呼ばれるニューラルネットワークが使われます。言語モデルの内部状態から、MeanFlowという手法を用いて1ステップで音声の潜在表現を生成します。音声専用の別のTransformerは使用しません。

テキストは、音声と同期させながらまとまりごとに扱います。発話のないフレームには埋め合わせ用のトークンが置かれ、話し始める前には専用のトークンが使われます。キャラクター設定のテキストと参照音声は、モデルへの入力として与えられます。