MacBook Pro M4 Max

Appleシリコンに特有の注意点があります。このトークン/秒の数値が表すのは生成で、ユニファイドメモリが得意とする処理です。プロンプト処理（最初のトークンが返ってくる前に、送った内容を読み込む処理）は同等のNVIDIA製GPUよりはっきり遅く、長い文書を貼り付けたときに感じるのはこちらです。短いプロンプトならこのマシンでも速く感じますが、30,000トークンのプロンプトではそうはいきません。

Nemotron 3.5 Bolt 74B-A9B (MoE)が、このGPUを最も有効に使えるモデルです。使うのは96GBのうち45.9GBで、生成速度は推定73トークン/秒（読むより速い）、コンテキストにはまだ131,072トークン分の余裕があります。MoE（Mixture of Experts）モデルなので、74.9Bのパラメータはすべてメモリに置かれますが、トークンごとに読むのは9Bだけです。サイズの割に速いのはそのためです。

ベンチマークは引用していないため、選び方を説明します。モデルはサイズで比べ、MoEモデルは総パラメータとアクティブパラメータの幾何平均で数えます（経験則で、測定ではありません）。メモリに余裕を持って収まり、25トークン/秒以上で応答する最も大きいクラスを選び、その中で最も新しい汎用モデルを選んでいます。コーディングや推論に特化したモデルは上の一覧には載せていますが、標準ではおすすめしていません。

このGPUが保持できる最大のモデルはMistral Small 4 119B (MoE)で、必要量は72.5GBです。131,072トークンのコンテキストを確保できます。MoEモデルで、トークンごとに読むパラメータは6.5Bだけなので、2つのうち速いのはこちらで、推定101トークン/秒です。その代わり、トークンごとにすべての重みを読む密（dense）モデルの深さはありません。

パラメータ数より品質を重視するなら、Llama 3.3 70BがQ8_0で約81GBに収まります。Q8はほぼ劣化がなく、Q8の小さなモデルは、Q3に押し込んだ大きなモデルに勝つことがよくあります。

この表のモデルはすべてFP16の時点で上限に達しているため、KVキャッシュを量子化しても得るものはありません。上限は128kトークン、またはそれより小さければモデル自身のネイティブのコンテキスト長で、後者は「モデルの上限」と表示しています。それを超える空きメモリは何の役にも立ちません。サイズの割にはるかに多くのコンテキストを保持できる行は、ハイブリッド構成、スライディングウィンドウ、MLA（Multi-head Latent Attention）のモデルで、標準的なTransformerのほんの一部しかキャッシュしません。計算の過程は各モデルのページにあります。

この一覧に届かないモデルはありません。扱っているモデルはすべてQ4_K_M・8kコンテキストで収まるため、突き当たる限界はパラメータ数ではなく、コンテキスト長とバッチサイズです。

どのみちこのノートPCを買うつもりなら、メモリのアップグレードは、このリストの中で大きなモデル用の容量を最も安く手に入れる方法です。そうでなければ、GPUのメモリを買う方法としては高くつきます。

重要なのはマシン本体ではなくメモリのアップグレードで、Appleはその価格を構成ごとに変えています。実際に検討している価格を、電気料金と実際の月間使用時間とあわせて購入とレンタルの比較ツールに入れてください。所有するほうが安くなる月がわかり、そうならない場合はそれがわかります。決め手になるのは、価格よりも月間の使用時間であることがはるかに多いです。

• Mac Studio M2 Ultra：144GB・800GB/s・最適なモデルはMuse Glimmer 30B、約32トークン/秒。長いプロンプトで待たされるのを我慢できるなら、非常に大きなモデルを静かに保持できるマシンです。
• RTX 4090：24GB・1,008GB/s・最適なモデルはMuse Glimmer 30B、約41トークン/秒。ローカルモデルに関するアドバイスの多くが、暗黙のうちに前提としているGPUです。
• RTX 5090：32GB・1,792GB/s・最適なモデルはMuse Glimmer 30B、約73トークン/秒。メモリ帯域幅で、快適に動かせる範囲を変えた初めてのコンシューマー向けGPUです。

全39種類のGPUはGPU一覧で並べて比較しています。同じ数値をモデルの側から見た表はモデルの適合表（英語）にあります。表を読む代わりに特定の組み合わせを確かめるなら、ローカルLLM動作チェッカーを使ってください。