TopicBase
Unslothは、Alibabaが公開したAIモデル「Qwen3.8-27B」に新しい量子化手法「Dynamic v3.1」を適用したモデルを公開しました。270億のパラメータを持つモデルを軽量化しており、低ビットのモデルは12GB未満のメモリでも動作します。
量子化は、モデルの数値をより少ないビット数で表し、必要な容量を減らす手法です。Unslothは、同程度のサイズの他の量子化モデルと比べ、複数のベンチマークで平均精度が5〜10％向上したとしています。
量子化の種類ごとに異なる必要メモリ
モデルはAIモデルの公開・共有サービスHugging Faceで、GGUF形式のファイルとして無償配布されています。ライセンスはApache License 2.0で、Unsloth Desktopのほか、llama.cppやOllamaなどで実行できます。
メインメモリとVRAMの合計、またはユニファイドメモリで見た必要容量の目安は、1ビット版が7〜8GB、2ビット版が9〜11GB、3ビット版が12〜14GBです。4ビット版は16〜19GB、6ビット版は23〜26GB、8ビット版は31GBで、BF16版は56GBとされています。
複数のトークンをまとめて予測するMTPを使う場合は、さらに1〜2GBの余裕が必要です。配布ファイルには複数の種類があり、例えば1ビットのUD-IQ1_Sは6.19GB、4ビットのUD-Q4_K_Mは16.6GBです。
画像や動画にも対応する基盤モデル
Qwen3.8-27Bは、画像や動画を理解する機能を備えたモデルです。一度に扱える入力と出力の長さを表すコンテキスト長は標準で26万2144トークンで、設定によって最大100万トークンまで拡張できます。
推論の深さは調整でき、思考モードを無効にする設定もあります。Unsloth DesktopはmacOS、Windows、Linuxに対応し、モデルの検索やダウンロード、実行のほか、思考モードの切り替えにも対応しています。
低ビット版の品質を測った従来モデルの試験
QuesmaのPiotr Migdał氏は、Dynamic v3.1の公開前にUnslothの量子化モデルを試験しました。2、4、8ビット版にはDynamic v2、1ビット版にはv3を使用しており、今回のv3.1とは異なるモデルでの結果です。
同氏の試験では、4ビット版はプログラミング課題のTerminal-Bench 2.1で元のBF16モデルと同等の結果でした。2ビット版は同試験で成績が低下し、1ビット版は大学院レベルの科学問題を扱うGPQA Diamondで正答率がランダムに近い水準になりました。
別の試験では、Apple M2 Max搭載機でQwen3.8-27Bの4ビットモデルを3ビットと2ビットに再量子化しました。同じ中英混合テキストで測った困惑度は、4ビットの4.813に対し、3ビットで5.715、2ビットで16.871でした。この試験では4ビットから再量子化しているため、誤差が累積する条件です。
Unslothの量子化開発と今後の予定
Unslothは以前からAIモデルの量子化や学習ツールを開発しています。2025年に公開したDynamic 2.0では、モデルや層ごとに量子化の種類を調整する方式を採用し、Gemma 3やLlama 4などの量子化モデルを提供しました。
また、PyTorchと協力し、量子化を考慮した学習をUnslothに組み込んでいます。Dynamic GGUFでは、調整用データセットを使い、重要な重みを重視するよう量子化の処理を変えています。
今回のDynamic v3.1は、主に2〜6ビットのモデルを更新した一方、3ビット版は従来版と同等の結果だったとして更新していません。Unslothは同手法を適用したQwen3.8-Flash-NextとDeepSeek-V4.1-Flash-1017も提供しており、Qwen4向けにさらに改良した手法を開発しています。
