Fish Audioは、テキスト読み上げモデル「Drama 3」を公開しました。文章の読み上げに加え、感情や間、効果音を指示し、指定した単語だけ声の調子を変えられます。モデルの重みは公開され、ローカル実行にも対応します。
Drama 3は単語単位で声の演技を指定
Drama 3では、台本に自然文の指示を添えて、感情や話す速さ、相手との関係などを指定できます。たとえば「涙をこらえながら、無理に笑って」のような日本語の指示も入力できます。
ため息や笑い、息継ぎ、短い間を、台詞の該当箇所に置くこともできます。選択した単語だけにささやきや強調などを適用するタグも用意され、指示を台詞全体に広げずに済みます。
複数の指示は同じ台詞の中で組み合わせられます。話者ごとに声を割り当てた会話や、指示を自動で加える「Auto Tag」にも対応し、複数人の場面を一度に生成できます。
既存モデルとの違いは編集範囲や生成の進め方
Fish Audioの従来モデルS2-Proも、自然文の指示や複数話者の音声合成に対応しています。Drama 3ではさらに、台詞の一部だけを編集する機能や、前の生成結果を踏まえて演技を調整する複数ターンの修正が加わりました。
S2-Proは局所的な音声編集や複数ターンの演技修正に対応せず、長文は分割して生成します。Drama 3は長い会話や長時間の音声を想定し、ストリーミングにも対応します。
単語ごとの指定では、変化させる範囲を選べます。S2-Proも指示タグを使えますが、選択した単語に範囲を絞る機能はDrama 3に加わりました。
オープンウェイトで、ローカル実行はNVIDIA GPUが必要
Drama 3のコードとモデル重みはFISH AUDIO COMMUNITY LICENSEで公開されています。Fish AudioはXでDrama 3を「open-weight」として案内しています。同ライセンスはコードと関連するモデル重みに適用されます。
ローカルで動かすには、環境をセットアップしてモデルの重みをダウンロードしたうえで、コマンドラインまたはAPIサーバーから推論を実行します。Drama 3はNVIDIA GPUのみをサポートし、CPU、Apple MPS、AMD ROCmでは動作せず、torch.compileも使えません。
コマンドラインではチェックポイント、入力テキスト、参照音声とそのテキストを指定して音声を出力できます。APIサーバーはDrama 3のチェックポイントを読み込んで起動し、Web UIも利用できます。必要なGPUメモリー量は環境要件によって異なります。
WebサービスとAPIでも利用可能
Drama 3はFish Audioのテキスト読み上げサービスで利用でき、APIからも呼び出せます。APIリクエストではモデル名を指定し、指示タグを含むテキストを送信します。
公開プレビューの生成結果はテイクごとに変わる場合があり、Fish Audioは複数回生成して選ぶ方式を案内しています。Fish Audioはモデルをプレビュー段階とし、今後も更新するとしています。
公開初日からComfyUI、Runway、OpenRouterなど複数のサービスで利用可能になったとFish Audioは告知しました。個人向けには期間限定の無料利用を案内し、企業向けにも初月無料を案内しています。
