Otter.ai、31言語へ対応拡大　会議中の言語切り替えを自動認識する文字起こしを導入へ

AIで会議の音声をテキストにするOtter.aiが、27言語の追加と、同じ会議の途中で話す言語が変わっても追従する多言語文字起こし機能を導入します。言語の追加は同社として最大規模で、展開が完了すると計31言語に対応する予定です。

新たな文字起こし機能は言語の変化を自動で検出し、利用者が設定を調整せずに記録を続けられるようにします。例えば、会話が英語から韓国語、さらにポルトガル語へ移っても、その流れに沿って文字起こしを続けます。

13言語を追加し、残る14言語も順次対応へ

今回追加する27言語のうち、すでに利用できるのは、中国語の標準語、韓国語、ドイツ語、イタリア語、広東語、ポルトガル語、ロシア語、インドネシア語、マレー語、オランダ語、トルコ語、ベトナム語、ポーランド語の13言語です。中国語の標準語は簡体字、ポルトガル語はブラジルのポルトガル語に対応しています。

残る14言語は、スウェーデン語、デンマーク語、フィンランド語、アラビア語、ヒンディー語、タイ語、ヘブライ語、ノルウェー語、ギリシャ語、マケドニア語、ペルシャ語、チェコ語、ハンガリー語、ルーマニア語で、今後提供される予定です。Otterは、この14言語を一般提供前に試すベータテストの参加希望者を募っています。申し込みは参加への関心を伝えるもので、特定の言語やプログラムへの参加を保証するものではありません。

日本語は今回の追加対象ではなく、すでに文字起こしの対応言語に含まれています。日本語の会議や録音を選択して、日本語のテキストやAIによる会議メモを生成できます。

言語の自動切り替えと翻訳は別の処理

会話の中で複数の言語が交互に使われる現象は「コードスイッチング」と呼ばれます。1人の発話の中でも起こり、多言語の音声認識では、こうした発話を扱うためのデータ不足が課題です。Otterが導入する機能も、会議中に話す言語が変わる場面を対象にしています。

文字起こしは、話された音声をその言語の文字にする処理です。Otterで日本語を文字起こし言語に選ぶと、日本語の発話から日本語のテキストを作ります。英語の発話を日本語へ訳す設定ではありません。

一方、コードスイッチングを含む音声の翻訳は、複数の言語が混ざった発話を、指定した言語のテキストに変換する処理です。Otterで既存の会話を別の言語に訳す場合は、会話内容に質問や依頼ができる「Otter AI Chat」を使います。文字起こしの全文だけでなく、要約や対応すべき作業の一覧も翻訳でき、元の文字起こしの言語は変わりません。

現在の言語設定と、独自音声モデルの開発

現在、通常の文字起こしでは、録音前や音声・動画ファイルの読み込み時に、実際に話されている言語を選択します。誤った言語で処理した会話は、デスクトップ版またはウェブ版で元の録音を再処理できます。フランス語を既定の言語に設定した場合には、フランス語と英語の自動切り替えにすでに対応しています。

追加言語の処理にはOtter独自の音声モデルを使います。Otterは、公開データセットを用いてモデルを訓練し、各言語を母語とするボランティアと文字起こしの確認や精度の検証を行ったとしています。また、文字起こしの精度は、話者のアクセントや発音、話す速さ、周囲の雑音、音声品質によって変わる場合があります。

会議前の準備や会議中の支援にも機能を拡張

Otterは文字起こしに加え、会議の前後や進行中に使うAI機能も拡充しています。最近導入した「Work Mode」は、過去の会議と接続したアプリの情報を使い、次の会議の準備を支援する機能です。以前の顧客との会話、未完了の作業、同僚が行った類似の会議のメモ、最近のGoogle Driveファイルなどを参照します。

もう一つの機能「Live Assist」は、会議中の会話を分析して、その場で助言を提供します。それまでに話された内容と進行中のやり取りを踏まえ、関連する提案を示す仕組みです。