TopicBase
DeepLは、リアルタイム音声翻訳サービス「DeepL Voice」向けの新しい音声AIモデル「Aure」を発表しました。話者固有の声の特徴を保ちながら、会話中に変わるトーンや感情、強調、話すペースを翻訳音声に反映します。日本語を含む8言語に対応し、オンライン会議、対面会話、外部サービスとの連携に使うAPIの各製品へ、追加設定なしで自動適用されます。
日本語を含む8言語に対応、既存製品へ自動適用
対象製品は「DeepL Voice for Online Meetings」「DeepL Voice for In-Person Conversations」「DeepL API for Voice」です。対応言語は英語、ドイツ語、スペイン語、フランス語、イタリア語、日本語、ポルトガル語、韓国語で、DeepLは今後さらに増やす予定です。その他の言語でも、既存の音声モデルを通じてDeepL Voiceを引き続き利用できます。
DeepL Voiceは、パイオニア、Aramark、Avendra International、Inetumなどが多言語でのコミュニケーションや連携に活用しています。また、Fast Companyが選ぶ「2026 Next Big Things in Tech」のApplied AI部門にも選出されました。
会話の冒頭だけでなく、途中の声も継続分析
従来のモデルは、会話の冒頭で捉えた話者の声をもとに翻訳音声を生成していました。Aureは翻訳された言葉と元の音声の両方を使い、入力される声を継続的に分析します。これにより、発話内容とともに、その時々の話し方に合わせて翻訳音声を調整します。
DeepLは、従来の方式では、会話中に変わる感情や強調、話すペースへの追従に限界があったとしています。言葉そのものとは異なる意味合いを持つ皮肉なども、固定された声の特徴だけで伝えるのは難しかったとしています。
AureについてDeepLは、交渉で言葉を強調して切迫感を伝える場面や、良い知らせを伝える途中で真剣な口調から熱意のある話し方へ変わる場面でも、その変化を別の言語へ反映できるとしています。重要な内容を話す前に少し間を置くといった表現も、想定する利用場面に含まれます。
声質・抑揚・発話内容を分けて学習
Aureの開発では、話者固有の声の特徴、抑揚やリズム、発話内容を分離する複数の学習手法を組み合わせています。それぞれの要素を独立して別の言語に反映できるようにする仕組みです。抑揚やリズムなど、言葉の内容に加わる話し方の特徴は「プロソディ」と呼ばれます。
さらに、出力への評価を通じてモデルを調整する強化学習を使い、生成する音声を最適化しています。DeepLは、この学習によって翻訳の正確性と音声品質を維持しながら、特定のアクセントに偏らない自然な音声を生成するとしています。
実際の会話を扱う際には、周囲の雑音やエコー、音声の乱れを除きながら、声質や話し方の特徴を捉える必要があります。Aureは、話者が一文を話し終える前から声の特徴を捉え、会話や状況に応じた変化にも対応する設計です。
DeepL Voiceは、会議の文字起こしや翻訳データを永続的に保存せず、セッション終了時にメモリから削除します。同じ人が複数の言語を話す実際の音声データが限られるなかで、その場の声に適応することも開発上の課題です。
音声翻訳研究でも扱われる声と感情の保持
Aureが扱う声質や話し方の保持は、音声から別の言語の音声へ変換する「音声間翻訳」の研究でも課題です。音声間翻訳には、音声認識、テキスト翻訳、音声合成を順につなぐ方式と、中間のテキスト表現に頼らず音声から翻訳音声を生成する方式があります。
Google Researchの研究者らは、直接音声を翻訳する方式には、話者の声や感情、プロソディの保持や、計算量と推論時の遅延の削減につながる可能性があるとしています。一方、学習には、元の音声と翻訳先の音声を組み合わせた、入手量の限られるデータが必要だとしています。
音声間翻訳の評価基盤「COMPASS」は、Aureのように声の特徴と話し方を扱う技術に関係する評価軸として、翻訳品質、音声の自然さ、話者の一貫性、プロソディと感情などを分けて扱います。ソニーグループとカーネギーメロン大学の研究チームは、複数の翻訳方式を比較し、翻訳品質に加えて自然さや話者の声の保持では方式ごとに異なる強みがあると報告しています。
