ArmのAGI CPUは、7種類のワークロードを使った比較で、AMD EPYC 9755に対し、ラック当たり平均1.99倍の性能を示しました。この値は、チップ単体の実測結果とサーバー消費電力のモデルから算出したもので、Armが提案するエージェント向けCPU評価方法に沿って測定されました。
ラック当たりの性能差は最大3.19倍
7ワークロードのラック当たり性能比は、MySQLが1.43倍、NGINXが1.95倍、Terminal-Bench 2が1.93倍、SWE-bench replayが2.00倍でした。Milvusは1.54倍、vLLMのCPU処理は1.88倍、fastTextは3.19倍でした。
ラック性能は、24キロワットの電力枠からネットワーク機器などの電力を差し引き、Armのサーバーを21〜23台、AMDのサーバーを13台配置できるとするモデルで計算されました。サーバーの定格電力は、Armが構成により950ワットまたは1,050ワット、AMDが1,700ワットです。
この計算では、EPYC 9755を搭載するサーバーに約2テラバイト、Arm側に約1テラバイトのメモリーを割り当てています。物理コア当たりのメモリー容量をそろえると、Armのラック当たり平均優位は1.99倍から約1.81倍に下がる試算です。
チップ単体ではワークロードごとに差
チップ単体の比較では、ArmはTerminal-Bench 2で9％、SWE-bench replayで13％、fastTextで97％上回りました。一方、MySQLの処理量は12％、Milvusは5％下回りました。
NGINXは1.20倍、vLLMのCPU処理は1.16倍でした。7項目のチップ単体性能比を算術平均すると1.20倍です。ラック当たりの平均値との差には、同じ電力枠に配置できるサーバー台数が反映されています。
Arm側は試験の一部で128コア・2.8GHz、DDR5-7200の構成を、残りで136コア・3.2GHz、DDR5-8000の構成を使いました。AMD側は128コアのEPYC 9755を1ソケットで使用し、メモリーはDDR5-6400でした。
エージェントの作業を測る評価方法
Armが提案する方法では、代表的なエージェント用途を選び、CPU性能を再現可能な形で測定したうえで、その改善が最終タスクの結果につながるか検証します。エージェントが実行するツールやサービスを定め、条件を制御して測定します。
エージェントはデータの取得やツールの呼び出し、隔離環境での実行などを行います。試験ではTerminal-Bench 2やSWE-bench replayのほか、データベース、Web/API処理、ベクトル検索、CPU上のモデル提供を支える処理など、7種類の負荷が使われました。
エージェントの実行経路や外部サービスの応答時間が変わると、CPU以外の要因が測定に混ざることがあります。Armの方法では、記録したエージェントの操作を再生してCPU処理を比較し、タスク全体の完了結果も評価します。
SPEC CPU 2017との測定対象の違い
SPEC CPU 2017は、整数演算や浮動小数点演算を含む計算集約型の性能を比較するベンチマークです。測定にはCPUだけでなく、メモリー階層とコンパイラーの性能も関わります。
SPEC CPU 2017は、ネットワーク、グラフィックス、Javaライブラリー、入出力システムを主な測定対象としていません。Armの方法はエージェントのツール利用やワークフローを題材にし、CPU単体の測定に加えて、タスク完了への影響も検証します。
試験を確認したSignal65は、Armの実行を遠隔で観察し、ログやスクリプトなどを調査しました。別チームが計算を再構築し、7項目の結果を0.5％以内で再現しましたが、独自ラボでのハードウェア再試験は行っていません。
Arm側とEPYC 9755側ではソフトウェア環境が異なり、BIOSやメモリー設定を独立に確認できた範囲にも差があります。1.99倍は、特定のCPU、ワークロード、構成、電力モデルに基づく試算です。
