Blockは、人間の会話音声だけで学習した音声会話モデル「Dessa」を研究プレビューとして発表しました。Dessaは相手の発話を聞きながら応答し、相づちや割り込みも行う全二重方式を採用しています。音声をテキストに変換せず、音声のまま入力と出力を処理します。
Blockは、Dessaをテキストデータや既存の学習済みモデルを使わず、会話音声からゼロから学習させました。学習にはNVIDIAのGB200 NVL72を1基使用し、Blockによると、大規模言語モデル（LLM）に比べて数百分の1の単語量で言語を習得できました。推論速度はリアルタイムを上回り、M4 Max以上を搭載したMacBook Proでローカル実行できるとしています。
現時点では一般公開されておらず、Blockは想定外のリスクを調べるため、少数のAI安全性研究者に早期アクセスを提供しています。デモは英語での会話で、相づちや話への割り込み、笑い、感情表現などを含みます。
音声をテキストに置き換えない処理方式
一般的なカスケード型の音声AIは、音声認識で発話をテキスト化し、言語モデルが返答を作り、音声合成で読み上げます。Dessaは音声を直接受け取り、音声で返すSpeech-to-Speech型で、テキストを中間表現として使いません。この方式では、言葉の内容だけでなく、声の調子や間、笑いなども会話の情報として扱えます。
テキストに変換する方式では、発話の文字列をもとに応答を組み立てます。音声には感情や皮肉、ため息など、テキストだけでは伝わらない情報が含まれるとBlockは説明しています。Dessaはこうした表現を認識・生成できるとされ、話者の言葉だけでなく、どのように話したかも扱う設計です。
カスケード型では各段階を別々のモデルに分けられるため、音声認識や言語モデルなどを個別に選んだり調整したりできます。一方、音声からテキストへの変換を挟むと、声の調子や発話の重なりなどが中間の文字列に残らない場合があります。Speech-to-Speech型は音声を直接処理し、会話の間合いや音声表現を応答に反映します。
聞きながら話す全二重の会話
全二重とは、双方が同時に音声を送受信できる通信方式です。会話AIでは、AIが返答を話している間も利用者の発話を聞き続け、相手の話が終わる前に相づちを返したり、適切なタイミングで割り込んだりできます。Dessaも聞きながら話す方式に対応し、「うん」「わかった」といった短い応答や、話に入るタイミングを扱います。
こうした会話では、発話の開始や終了を判断する音声活動検出（VAD）などが使われます。ただし、AIの発話中もマイクを通じて利用者の声を拾うため、AI自身の音声と利用者の割り込みを区別し、会話の状態を切り替える必要があります。相づちのような短い発話を割り込みとして誤認すると応答の流れが崩れるため、何に返答するかを判断する仕組みも関係します。
全二重の対話制御を扱う研究「FlexDuo」は、会話状態に「聞く」「話す」に加えて、反応を保留する「待機」を設けています。周囲の雑音や会話と無関係な音声を待機状態で除外し、応答に必要な情報を一定程度ためてから会話へ渡します。Fisherコーパスを使った評価では、統合型の全二重システムと比べ、誤割り込み率を23％減らし、応答精度を8％高めたと報告しています。
学習方法と公開範囲
Blockは、幼児が文字を読まずに話し方を身につけることを着想源に、モデルも音声だけから学べるかを試したと説明しています。Dessaは人間同士の会話音声のみで学習し、テキストや既存モデルは使っていません。音声から言語を学ぶ効率について、BlockはLLMより少ない単語量で習得できたとしています。
デモでは、Dessaと人間の会話や、別の音声AIとの会話を確認できます。発話の内容だけでなく、声の調子や間、相づちのタイミングもモデルが選ぶとBlockは説明しています。人間とDessaの会話例には、笑い、ため息、声の強弱などを含むやり取りがあります。
早期アクセスの対象は少数のAI安全性研究者で、Blockはモデルに伴うリスクを調べる目的を示しています。一般向けの提供は始まっておらず、公開範囲は研究プレビューに限られます。
