TopicBaseShizuku AIは11月8日、相手の声を聞きながら話せる日本語音声対話モデル「Shizuku-Duplex」を発表しました。ユーザーの発話中に相づちを打ち、割り込まれたら話を止めるなど、会話のタイミングをモデル自身が制御します。AIキャラクター「しずく」の基盤技術として開発され、検索結果を待つ間も会話を続ける仕組みを備えています。
Shizuku AIは、自社評価で対話の自然さが比較した6モデル中で最も高く、応答品質は全二重モデルの中でOpenAIの音声対話モデル「GPT-Live」に次ぐ水準だったとしています。今後は対話能力の改善と対応言語の拡充に加え、画像認識や動作制御への対応を進める方針です。
聞く処理と話す処理を80ミリ秒ごとに進める
Shizuku-Duplexが採用する全二重（Full-Duplex）は、音声を受け取りながら応答音声も生成する方式です。音声認識で発話を文字にし、大規模言語モデル（LLM）が返答を作り、音声合成で読み上げる処理を順番に進めるカスケード型とは、会話の処理方法が異なります。
処理は80ミリ秒を1単位とし、毎回ユーザーの声を取り込みながら自身の音声を生成します。声に出す内容は音声より少し先にテキストとして出力し、発話中も沈黙中も相手の音声を受け取り続けることで、話し始めるタイミングや黙るタイミングを決めます。Shizuku AIは、推論処理を高速化するTensorRTやTritonカーネルを使い、各単位の処理を80ミリ秒以内に収めたとしています。
モデルの中心には、LLMを土台とするニューラルネットワーク構造のTransformerを使っています。出力は音声、テキスト、動作の3種類で、動作については会話中の気持ちに合うLive2Dのモーションを選択します。
相づちでは話し続け、割り込みでは止まる
会話のタイミングには、話す番を交代する「ターンテイキング」と、相手の話を聞いていることを伝える相づちが関わります。京都大学の河原達也氏と井上昂治氏は、応答系の相づちには相手の発話を継続・促進する効果があり、その生成には発話中からタイミングを予測する必要があるとしています。
千葉工業大学の藤江真也研究室でも、声の高さや大きさなどの韻律情報を逐次処理し、ユーザーが話し終わる前に相づちのタイミングを検出する音声対話システムが開発されています。Shizuku-Duplexが扱う相づちも、相手の発話終了を待たずに音声を処理する点が共通しています。
Shizuku AIの評価では、ユーザーの相づちを受けても話し続けた割合は95％、ユーザーの割り込みから2秒以内に発話を止めた割合は89％でした。話す番の交代に関する6指標のうち5指標で、比較した全二重モデルの中で最も良い結果だったとしています。
同じ比較に含まれた日本語音声対話モデル「LLM-jp-Moshi-v1」も、音声を逐次入力しながら音声を出力する仕組みを備えています。LLM-jp-Moshi-v1は約1,000時間の日本語雑談対話データを含む音声・会話データで、相づちや返答のタイミングを含めた振る舞いを学習しています。
返答までの中央値は0.57秒
Shizuku AIの測定では、ユーザーが話し終わってからShizuku-Duplexが返答するまでの時間の中央値は0.57秒でした。比較対象のGPT-Liveは0.53秒でした。
人間同士の会話の間合いについては、マックス・プランク心理言語学研究所のターニャ・スティヴァース氏が、10言語の自然な会話に含まれる、はい・いいえで答える質問と応答の間隔を調べています。この研究での平均間隔は、日本語が7ミリ秒、デンマーク語が約0.5秒で、各言語に発話の重なりと沈黙を少なくする傾向がありました。
Shizuku AIは評価用に、既存の音声対話ベンチマークの場面や指標、雑談・質問応答の課題を参考にした日本語版のテストを作成しました。応答内容は音声を文字に起こし、AIモデルのClaude Opus 5.5で採点しています。
検索と会話を分担し、長い対話では履歴を圧縮
Shizuku-Duplexは、リアルタイムの会話を担う「Interaction Model」と、Web検索などをバックグラウンドで進める「Background Model」の2系統で動作します。検索などが必要になるとInteraction Modelが処理を依頼し、結果を待つ間もユーザーへの受け答えを続け、届いた結果を使って返答します。
長時間の会話では、約5分ごとに対話内容を要約し、モデルが参照する会話履歴であるコンテキストを作り直します。切り替え後も要約と直前のやり取りを引き継ぎます。Shizuku AIは、この切り替えを80ミリ秒の1処理単位以内に行うことで、会話を途切れさせずに長時間の対話を続けられるとしています。
