
研究者らが、音声合成AIモデル「Kokoro」のHugging Face上の公開者アカウントを取得しました。モデルの重みを変更する実験では、アプリケーションのコードを変えずに、入力テキストと異なる音声を出力させました。
ドメイン登録から公開者アカウントを取得
Hugging Faceは、AIモデルやデータセットなどを公開するプラットフォームです。研究者らはKokoroの公開ファイルに記載されていた「hexgrad.com」ドメインを登録しました。そのドメインを使ってパスワードを再設定し、公開者のアカウントを取得しました。
セキュリティ研究者のAlon Hertz氏らは、取得したアカウントを使ってモデルを置き換える可能性を検証しました。研究者らは、アプリケーションのコードを書き換えずに音声出力を変える実験を行いました。
Hertz氏は、この問題をHugging Faceに報告しました。
重みの変更で入力と異なる音声を生成
実験では、モデルが学習した内容を表す数値である「重み」を変更しました。研究者らはゲーミング用GPUを使い、87秒でKokoroの重みを調整しました。変更後のモデルは、入力テキストとは異なる内容の音声を生成しました。
Hertz氏によると、入力テキストや音声ファイル、設定、推論に使うコードは変更していません。推論とは、学習済みモデルを使って出力を生成する処理です。変更したモデルは、通常の推論手順を使ってローカル環境でテストしました。
研究者らは、Kokoroに依存する多くの本番システムを危険にさらす可能性があるため、変更した重みをHugging Faceにはアップロードしていません。重みだけが変わる場合、マルウェア検査で検出するための悪意あるコードや特徴がないと、研究者らは指摘しています。
通常の更新に見える配布経路
別のアカウントを使った更新テストでは、Hugging Faceは更新を不審なものとして検知しなかったとHertz氏は述べています。公開者やファイルの配布経路、形式、モデルの構造は同じに見えます。ファイルサイズも近くなり、マルウェアを含まない更新になり得るといいます。
Hertz氏は、新しい版を自動的に取得するシステムに対して、乗っ取られた公開者アカウントから変更済みの重みが届くリスクを指摘しています。これは、ソフトウェアやその構成要素の供給経路を利用するサプライチェーン攻撃につながり得ます。研究者らはKokoroを、その問題を示す事例として取り上げました。
Hertz氏は、Hugging Faceがアカウントの現在の所有者を確認していないと指摘しました。また、乗っ取られていないアカウントでも、公開者が一定期間にわたって正当な活動を装った後に悪意ある更新を配布する可能性があると述べています。こうしたモデルやデータセットは、ミラーや変換版などを通じても流通するとしています。
月間約1300万回ダウンロードされるKokoro
Kokoroは、テキストを音声に変換する、重みが公開されたAIモデルです。複数の言語に対応し、50種類を超える声のプリセットがあります。Hugging Faceでの月間ダウンロード数は約1300万回に上ります。
開発者のHexgradによる更新は2025年4月を最後に途絶えています。GitHubのリポジトリと、Python向けパッケージを配布するPyPI上のパッケージも、同じ頃から動きが止まっています。
KokoroはGoogle、NVIDIA、Intelの開発者向けツールでサポートされています。対象には、音声エージェント向けのソフトウェアや端末上での音声合成が含まれます。AMDとAmazon Web Servicesも、AIエージェントの処理でKokoroを使うガイドを公開しています。
日本語音声の生成にも対応
Kokoroの推論ライブラリはPythonのパッケージとしてインストールできます。対応言語には日本語が含まれます。日本語を使う場合は、言語コードに「j」を指定し、追加パッケージ「misaki[ja]」をインストールします。
ライブラリの利用例では、言語コードに合わせて音声を選びます。テキストから生成した音声は再生でき、音声ファイルとして保存することもできます。Google Colab上で実行する利用例も用意されています。
Kokoroは8200万パラメーターのモデルです。重みにはApacheライセンスが適用されています。ライブラリは、このKokoro-82Mを使って音声を生成します。








