Mistralは10月6日、AIモデル「Mistral Large 4」のパブリックプレビューを公開しました。Artificial Analysisの総合指標では38点を記録し、米中以外のモデルで最高点となりました。一方、中国の複数のオープンウェイトモデルはLarge 4を上回っています。モデルの重みは10月末までに公開する予定で、現在はプレビューAPIで提供されています。
総合指標では中国の5モデルが先行
Artificial Analysisのランキングでは、Large 4の38点を上回った中国のモデルは5つです。MiMo-V2.6-Proが46点、GLM-5.3が45点、Kimi K3が44点、GLM-5.3-Flashが42点、DeepSeek V4.1 Flashが39点でした。
同じ指標でLarge 4は、米国と中国以外のモデルの中で最高点でした。この結果は各モデルの順位を示すもので、あらゆる用途で同じ優劣になることを意味するわけではありません。指標は複数の課題のスコアを集計しており、個別の能力は課題ごとに異なります。
Artificial Analysis Intelligence Index v4.3.2は、エージェント、コーディング、一般能力、科学的推論の4分野に属する10種類の評価を組み合わせています。分野別の重みは順に30%、20%、30%、20%です。評価の大半は英語のテキスト課題で、画像入力や多言語能力は別に評価されます。
38点が示す範囲
総合点は、複数の評価結果を重み付けしてまとめた比較指標です。そのため、38点だけでは個々の業務での性能や特定モデルとの差の大きさは分かりません。実際の順位は、評価対象の課題と重みに左右されます。
Artificial Analysisの指標には、エージェント作業、コード実行、科学的推論、知識問題などが含まれます。総合点のうちエージェント分野は30%を占め、複数の評価をまとめています。一つの分野で高い結果を出しても、それだけで総合順位が決まるわけではありません。
この指標は同じ条件でモデルを評価することを掲げていますが、評価課題が実際の利用場面すべてを代表するわけではありません。Large 4の38点は、定められた評価群での比較結果です。特定の用途で採用を判断する際は、その用途に近い課題での結果も関係します。
サイバー評価では異なる順位
サイバー分野のArtificial Analysis Cyber Indexでは、Large 4は50点で、GLM-5.3-Flashと同点でした。この指標ではMiMo-V2.6-Proが56点、GPT-6 Lunaが53点で、Large 4を上回っています。総合指標とは評価対象が異なるため、順位も変わります。
3つの個別評価のうち、Large 4はCyberGym-E2E-AAで82%を記録しました。DeepsecBench-AAは16%、CWE-Bench-AAは51%で、Cyber Indexの総合点は50点です。一つの高い結果だけでは、サイバー分野全体の性能を表せません。
Mistralは、実ソフトウェアの脆弱性を見つけて修正する作業を含むサイバー評価で、Large 4が上位モデルに入ると説明しています。また、競技会由来の40課題を集めたCybenchで93%を解いたとしています。これらはMistralが公表した評価結果で、Artificial Analysisの総合点やCyber Indexとは別の指標です。
総パラメーター数と稼働時の違い
Mistralによると、Large 4の総パラメーター数は1兆で、1トークンの処理に関わるアクティブパラメーター数は520億です。モデルは複数の専門部分から入力に応じて一部を使うMixture of Experts（MoE）方式を採用しています。総パラメーター数とアクティブパラメーター数は、異なる量を表します。
MoEでは、各トークンの処理に選ばれた専門部分が使われ、選ばれなかった部分はその処理に参加しません。アクティブパラメーター数は、トークンごとの計算量を考える手掛かりになります。一方、推論時にもモデル全体の重みを保持する必要があるため、総パラメーター数はメモリー要件に関係します。
そのため、アクティブパラメーター数が小さくても、必要なメモリーや実際のAPI料金が小さいとは限りません。Large 4のArtificial Analysis評価におけるタスク当たり費用は、通常価格で1.13ドル、公開時の割引価格で0.57ドルとされています。同じ指標でGLM-5.3-Flashは0.25ドル、MiMo-V2.6-Proは0.13ドルでした。
重み公開とプレビュー提供
MistralはLarge 4のプレビューAPIを提供しており、モデルの重みを10月末までに公開する予定です。重みの公開後は、利用者が自社の環境でモデルを動かせるようになります。Mistralはプライベートクラウドやオンプレミスでの実行を想定しています。
Mistralによると、モデルは欧州の自社データセンターで3,800基のNVIDIA Grace Blackwell GPUを使い、一から学習させました。同社は今後、モデル構造や追加の評価結果、学習後の調整方法も公表する予定です。
