The MLX logo
出典: machinelearning.apple.com

Appleは、M5 Ultra搭載Mac Studioを4台接続し、大規模言語モデル「Muse Spark Open」を毎秒36トークン以上で実行したと公表しました。 独自チップのユニファイドメモリと機械学習向けの仕組みを使い、複数のMacにモデルを分散して動かす構成です。

8160億パラメーターのモデルを複数台で動作

Muse Spark OpenはMetaの公開重みモデルで、学習済みの重みを利用できます。 パラメーターは合計8160億個で、そのうち420億個が処理時に有効になります。 文脈として扱える長さは100万トークンです。

Appleの測定では、文脈の長さを8192トークンとした条件で、M5 Ultra搭載Mac Studio 4台が毎秒36トークンを超える生成速度を記録しました。 トークンは、モデルが文章を処理・生成する際の単位です。測定には、モデルの数値を4ビットに量子化した形式が使われました。

Appleによると、元の精度ではモデルのパラメーターだけで1.6TBを超えるメモリが必要です。 4ビット形式ではモデルのメモリ使用量が約493GBに減ります。 ただし、推論中の中間計算にもメモリを使うため、1台には収まらず、複数台への分散が必要です。

共有メモリとMLXで推論を分散

Mac StudioのM5 Ultraは、最大512GBのユニファイドメモリを搭載できます。 これはCPUやGPUが共有して使うメモリです。 メモリ帯域幅は毎秒1.2TBです。

MLXは、Appleシリコンのユニファイドメモリ向けに設計された機械学習用のオープンソースフレームワークです。 モデルの構築に使うニューラルネットワークや最適化のための機能を備えます。 Swift、C++、Cから利用するための仕組みもあります。

複数台での処理には、Thunderbolt経由で低遅延の通信を行う仕組みを使います。 2台を使う構成では、モデルの前半と後半をそれぞれのMacに置き、順番に計算する方法があります。 Appleの検証では2本のThunderboltケーブルで接続しました。

1台で動くモデルとMac Studioの構成

Appleは、パラメーター数が270億個のQwen 3.8と、1280億個のMistral Medium 3.5も測定しました。 どちらも512GBメモリを搭載したMac Studio 1台で動作します。 文脈を6万5536トークンとした場合のメモリ使用量は、それぞれ最大68GBと158GBでした。

Appleの測定では、M5 Ultra搭載機の最初のトークンが生成されるまでの時間は、M3 Ultra搭載機と比べて最大4.6倍速くなりました。 生成速度は最大1.6倍でした。 この比較は、2つのモデルと8192、6万5536トークンの文脈長で行われました。

日本向けのMac Studioは、M5 Max構成が36GBメモリから、M5 Ultra構成が96GBからです。 M5 Maxでは条件に合うチップ構成で48GB、64GB、128GBを選べます。 M5 Ultraでは256GBを選べるほか、36コアCPUと80コアGPUの構成で512GBを選択できます。

Xserveのラック搭載と管理機能

Mac Studioは、机上に置けるデスクトップ機です。 一方、Appleが2011年に終了したXserveは、ラックに搭載するサーバーでした。 2009年モデルには、ラック搭載用の金具が付属していました。

Xserveの2009年モデルは、稼働中に交換できるドライブ用ベイを3基備えていました。 オプションで2基目の電源を追加し、電源を冗長化することもできました。 ネットワーク接続には独立した2基のギガビットEthernet端子を備えていました。

管理機能には、サーバーやサービスを管理するServer Adminと、状態を監視するServer Monitorがありました。 Server Monitorでは、複数のサーバーの状態を遠隔で監視でき、通知を受け取る機能も用意されていました。

Osaurusで小型MacでもローカルAIを利用

Osaurusは、Macでローカルモデルを管理し、オフラインで使える無料のオープンソースAIツールです。 16GBメモリのAppleシリコン搭載ノートパソコンでも利用できるモデルがあり、8GBで動くモデルも2種類あります。 必要に応じてクラウドのAIモデルにも接続できます。

チームが各自のMac間でエージェントを共有するための有料プラン「Workspaces」もあります。 Mac版にはAppleシリコンとmacOS 15.5以降が必要です。 ローカルモデルは、ダウンロード後にネット接続なしで利用できます。

クラウドへの送信前に個人情報を置き換えるPrivacy Filterは実験的な機能です。 メールアドレスや電話番号などを規則で検出し、別途導入する端末上の小型モデルで名前や住所なども検出できます。 画像や音声は検査対象外で、AIによる検出は英語以外の名前や住所を見逃しやすい制約があります。