GeForce RTX 20・30・40シリーズの一部で、ファームウェアの脆弱性を利用し、AI向け行列演算の速度制限を解除する非公式プロジェクトが公開されています。RTX 4090ではFP16のピーク演算率が約2倍になった一方、実際の処理速度の伸びは用途によって小さく、チャットボットの応答速度はほぼ変わらないと報告されています。
この制限は、GeForce各世代でFP32累算の演算率をFP16累算の半分にするものです。解除後の性能向上は、ゲーム全般が速くなるという意味ではなく、対応する行列演算などのAI処理に関するものです。
公開されている実装は世代ごとに異なり、対応カードも限られています。利用には非公式のカーネルモジュールや改変ドライバーなどが使われており、同世代のすべてのカードで動作するわけではありません。
解除で変わる演算と実測値
Ada世代向けの実装では、RTX 4090のFP16ピーク演算率が165.6から331.6 TFLOPSに、BF16は165.5から330.6 TFLOPSに上がりました。ただし、ピーク値が倍増しても、アプリケーション全体の処理時間が半減するわけではありません。
実際の行列積ベンチマークでは、RTX 4090のFP16性能向上は12〜34％、BF16は最大20％でした。別のWindows環境で測定されたRTX 4070 Tiでは、FP16が80.1％、BF16が76.4％向上しています。
Ampere世代のRTX 3090 Tiでは、利用者の測定でFP16が35％、BF16が80％、TF32が94％向上しました。RTX 30シリーズのほかのカードでも向上が報告されていますが、電力上限などの条件がそろっていないため、数値を単純に比較できません。
AI演算で使う精度の違い
FP16、BF16、TF32は、AI処理で行列積などに使われる数値形式です。FP16とBF16は16ビット形式で、TF32はAmpere世代のTensor CoreでFP32入力の畳み込みや行列積を高速化する演算モードです。
AmpereのTF32では、入力データはFP32のままメモリーに保持され、畳み込みや行列積の計算時にTF32として処理されます。計算結果はFP32で累算されるため、入力や累算の精度と演算器のピーク速度は別の要素です。
GPUのピーク演算率が上がっても、実際の学習や推論が同じ割合で速くなるとは限りません。NVIDIAはAmpereのTF32について、実際の速度向上はメモリーアクセスや行列積以外の処理にも左右されると説明しています。今回のRTX改造でも、ピーク値を下回る実測性能の向上や、ほぼ変化しない処理が報告されています。
対応カードと解除の仕組み
RTX 30シリーズ向けの「gpu-unlock」はRTX 3090 Ti、3090、3080、3070、3060 12GBなどで報告があります。RTX 20シリーズ向けの「turing-unlock」はRTX 2080 Tiが対象です。Ada世代向け「gpu-unlock-ada」はRTX 4090に対応し、一部の別モデルは実験段階です。
RTX 20世代のTuringはBF16演算にハードウェア対応していないため、同世代の解除対象はFP16です。RTX 30世代では一部の型番が未検証で、RTX 40世代にも実験中のカードや未確認のモデルがあります。
制限はGPU内部の「速度選択」レジスターに設定されています。改造では、署名済みSEC2「Booter」ファームウェアのスタックバッファーオーバーフローを利用して権限を得た後、ドライバーが読み込まれる前にカードをリセットし、速度設定を変更します。
利用上のリスクと世代の範囲
各プロジェクトは非公式の改造で、RTX 50シリーズには対応していません。RTX 50世代のBlackwellは、この解除方式の対象外とされています。
プロジェクト側は、実行によってGPUやホストが停止したり、起動できなくなったり、データ破損やハードウェア損傷が起きたりする可能性を挙げています。turing-unlockもハードウェアを損傷する可能性を警告しています。
報告されている対応状況はカードごとに異なり、プロジェクト側は互換性情報を集めています。ベンチマーク値はカードの電力上限や測定条件によって差が出ています。
