文字起こしから翻訳、音声への質問まで1つのモデルで対応
NVIDIAは、音声認識モデル「Nemotron 3.5 Transcribe」を公開しました。40言語の文字起こし、31言語と英語の間の翻訳、13言語での話者識別に対応し、会議の発言記録から音声内容への質問まで同じモデルで処理できます。
録音は最長1時間、話者は最大8人まで扱えます。自然言語の指示で、話者名を付けた文字起こしや英語への翻訳、会議で決まった内容への回答など、出力の形式やタスクを指定できます。
医療用語などを認識させる場合は、プロンプトに候補語を含め、音声に実際にあるときだけ使うよう指示できます。モデルは単語単位のタイムスタンプにも対応しますが、人名や話者の切り替わり、回答内容は録音と照合する運用が案内されています。
音声認識と話者識別の評価
文字起こし精度を測るHugging Face Open ASR Leaderboardでは、英語の平均単語誤り率が5.33％で、オープンウェイトモデル中1位でした。7言語の多言語トラックは平均4.62％、長時間音声のトラックは平均10.98％で、いずれも同比較におけるオープンウェイトモデルの最低値です。
Artificial Analysisの評価では、AA-WERが2.8％で、オープンウェイトモデル中同率1位でした。このときのアクティブパラメーター数は約40億で、同率のモデルの約240億と比べて少ない構成です。音声エージェント向け音声を含むAA-AgentTalkでは、単語誤り率1.8％でした。
話者識別では、21言語を対象にしたDavid AIの評価で話者分離誤り率18.26％を記録し、対象14システム中で最低でした。VoiceArenaの英語評価では、話者ラベルを対応付けた単語誤り率が32.4％で14システム中1位となり、対面とオンラインの両設定でも首位でした。
MambaとTransformerを組み合わせた構成
Nemotron 3.5 Transcribeは、音声エンコーダーと、MambaとTransformerを組み合わせた混合エキスパート（MoE）言語モデルを使います。全体のパラメーターは約300億で、トークンごとに有効になるのは約40億です。
ICLR 2025で発表されたJambaの研究は、Transformer層とMamba層を組み合わせ、MoEの一部の層で専門家の選択的な利用を行う設計を説明しています。 この研究では、Mamba層を組み込むことでTransformerのKVキャッシュを小さくし、長い文脈でのメモリ使用量を抑える仕組みを示しています。 MoEではモデル全体のパラメーター数と、各処理で実際に使うパラメーター数を分けられるため、モデル容量を保ちながら有効パラメーターを抑えられます。
この仕組みは、Nemotron 3.5 Transcribeが約300億の総パラメーターに対して約40億をトークンごとに有効化する構成を理解する手がかりになります。 ただし、Jamba研究の長文脈評価や性能値はJambaの結果であり、Nemotron 3.5 Transcribeの測定値ではありません。
話者ラベルを音声認識へ組み込む
話者識別の基盤にはSortformerが使われています。話者分離は、音声のどの区間を誰が話したかを特定する処理です。Nemotron 3.5 Transcribeでは、Sortformerの話者情報を音響特徴とともに言語モデルへ渡し、生成中に発話ターンへ話者ラベルを付けます。
Sortformerの研究は、話者の並び順が定まらない問題に対処するため、Sort Lossを提案しています。この損失関数は単独でも、順列不変損失（PIL）と組み合わせても使えるとされています。
同研究では、話者ラベルを正弦カーネル関数でエンコーダーへ埋め込み、タイムスタンプと文字列のトークンを結び付ける方式を説明しています。 実験では、Sort Lossによる話者分離性能の向上と、話者情報を使った複数人の音声文字起こし精度の改善が報告されました。
Granary v2と専門分野への適応
NVIDIAはモデルに加え、音声データの整理パイプライン「Granary v2」も公開しました。公開マニフェストは48言語、16のデータセットにまたがる46万3,062時間分で、各録音に逐語表記、数値などを通常の書き方へ直した表記、言いよどみを省いた表記の3種類を用意しています。
パイプラインは、音声認識、文字起こし形式の生成、品質確認などを組み合わせます。音声の説明文や音声に基づく質問と回答、翻訳、認識を補助する用語も生成し、採用された記録には品質情報を付けます。公開マニフェストの時間数はデータセットの公開規模であり、モデルの学習に使った音声全体の時間数ではありません。
医療分野の事例では、専門用語に合わせた追加学習により、評価用の別話者に対する単語誤り率が最良のプロンプト設定と比べて相対45.8％低下しました。録音に応じた語彙や表記を使う場合、まずプロンプトで指定し、必要に応じてデータとNeMo Speechの調整ツールを使って追加学習する方法が示されています。
現時点では録音音声向けで、ライブ配信には対応しません。利用可能なチェックポイントはvLLMで提供でき、量子化版とNeMo-Speech.cppによるローカル実行は今後提供予定です。量子化版を使った処理速度の計測では、RTX PRO 6000 Blackwell Server Edition 1基で100時間分の音声を3分未満で処理しました。
