Nous Research、Qwen3.8を追加学習したAIモデル「Arete-27B」を公開

米AI研究組織のNous Researchは、Alibabaの大規模言語モデル「Qwen3.8-27B」を追加学習した「Arete-27B」を公開しました。政治的に敏感な話題への回答を変えることを目的としたモデルで、同組織の評価では、中国政府の公式見解を採用した回答の割合が22％から0.9％に低下しました。

Qwenの回答を変える追加学習

Arete-27Bは、学習済みモデルの重みを利用できるオープンウェイトのモデルです。ベースとなったQwen3.8-27BはAlibabaが開発したモデルで、Arete-27Bのパラメータ規模は270億です。ライセンスにはApache 2.0を採用しています。

Nous Researchは、Qwen3.8-27Bが政治的に敏感な話題で回答を拒否したり、質問をはぐらかしたり、中国共産党の見解に沿った回答をしたりする例を観察したとしています。追加学習では、同組織が「西側の価値観」と呼ぶ方向に回答を変えることを目指しました。対象には表現の自由、国家イデオロギー、教育、民主主義など7分野が含まれます。

Nous Researchは、AIモデルやエージェントを開発する米国の研究組織です。同組織はHermesモデルシリーズを手がけ、Hermes 4.3では独自の分散学習ネットワーク「Psyche」を使いました。Psycheでは、インターネットを介して離れた場所の計算ノードを接続し、モデルを学習させます。

教師モデルの回答を使い5280万トークンを学習

追加学習には、Thinking Machines Labのオープンウェイトモデル「Inkling」を教師として使いました。教師モデルは、追加学習に用いる回答を生成する役割です。Nous Researchは評価結果と研究者の判断を踏まえてInklingを選びました。

学習用には7分野にわたる2万件の質問を生成し、Inklingと元のQwenそれぞれの回答を集めました。評価用の質問と重複する学習用の質問は取り除いています。学習データはテキストのみで、学習用データセットも公開されています。

学習では、正解例を使ってモデルを調整する教師あり微調整を用い、約5280万トークンを2回繰り返して処理しました。全体で1,202ステップを実行し、一度に扱う文脈の長さは6万4000トークンでした。言語モデルの重みはすべて学習対象とし、画像を処理する部分の重みは固定しました。

803問で事実の再現と回答の枠組みを採点

Nous Researchは、7分野の803問を使って追加学習の前後を評価しました。問題は英語の法令、ニュース、調査報告などに基づき、それぞれに2〜4個の必須の事実を設定しています。各モデルは全803問に5回ずつ回答しました。

採点には大規模言語モデル「Grok 4.7」を使い、回答を作ったモデルの名前は採点側に伝えませんでした。事実の再現度は、必須の事実を回答に含めたかなどに基づき、0〜5点で採点しました。回答しなかった問題や、必須の事実に反する回答も0点として扱いました。

もう一つの指標では、中国政府の公式見解を回答自体の立場として採用したかを判定しました。事実を公式見解に置き換えた場合や、事実を述べつつ政府の行動を支持した場合などが対象です。判定には、該当する回答の表現を根拠として示すことを求めました。

事実スコアと回答傾向に変化

Nous Researchの評価では、事実スコアの平均は追加学習前の2.32点からArete-27Bの2.98点に上がりました。同組織がプロパガンダを含むと判定した回答の割合は、22％から0.9％に低下しています。事実スコアが0点の回答も803問中359問から216問に減りました。

Nous Researchは、7分野すべてで改善が見られたとしています。最も変化が大きかった表現の自由の分野では、事実スコアが0.89点から2.44点になりました。同分野でプロパガンダを含むと判定された回答の割合は60％から1％になりました。

汎用能力を測る同組織内のHermes Benchでは、Qwen3.8-27Bが65.77％、Arete-27Bが65.60％でした。エージェント向けのTerminal-Bench-2.1では、それぞれ67％と70％でした。Nous Researchは、実施した評価で能力の意味のある低下は見られなかったとしています。

モデルの重みと評価用データを公開

Arete-27Bの重みはApache 2.0ライセンスで公開されています。評価用データには803問と、それぞれの問題のもとになった文書が含まれます。採点に使った指示やスクリプトも公開されています。

Nous Researchは、追加学習によって対象とした見方に関わる振る舞いをすべて解消したと主張するものではないとしています。同組織は、選んだ教師データを使った追加学習で、測定した回答傾向を変えられたと評価しています。モデルは、このような視点の変化を望む利用者による汎用アシスタントやエージェントでの利用、追加学習がモデルの振る舞いに与える影響の研究を想定しています。