RTX PRO 4500 Blackwell

Muse Glimmer 30Bが、このGPUを最も有効に使えるモデルです。使うのは32GBのうち18.7GBで、生成速度は推定36トークン/秒（チャットなら快適）、コンテキストにはまだ131,072トークン分の余裕があります。

ベンチマークは引用していないため、選び方を説明します。モデルはサイズで比べ、MoE（Mixture of Experts）モデルは総パラメータとアクティブパラメータの幾何平均で数えます（経験則で、測定ではありません）。メモリに余裕を持って収まり、25トークン/秒以上で応答する最も大きいクラスを選び、その中で最も新しい汎用モデルを選んでいます。コーディングや推論に特化したモデルは上の一覧には載せていますが、標準ではおすすめしていません。

このGPUが保持できる最大のモデルはQwen3.6 35B-A3B (MoE)で、必要量は22.4GBです。131,072トークンのコンテキストを確保できます。MoEモデルで、トークンごとに読むパラメータは3Bだけなので、2つのうち速いのはこちらで、推定360トークン/秒です。その代わり、トークンごとにすべての重みを読む密（dense）モデルの深さはありません。

パラメータ数より品質を重視するなら、Mistral Small 3.1 24BがQ8_0で約28.3GBに収まります。Q8はほぼ劣化がなく、Q8の小さなモデルは、Q3に押し込んだ大きなモデルに勝つことがよくあります。

KVキャッシュをQ8に量子化すると、保持できる量はおよそ2倍になり、品質の低下はほとんどの人が気づかない程度です。このGPUでは、Gemma 4 31Bが123,904トークンから131,072トークンになります。上限は128kトークン、またはそれより小さければモデル自身のネイティブのコンテキスト長で、後者は「モデルの上限」と表示しています。それを超える空きメモリは何の役にも立ちません。サイズの割にはるかに多くのコンテキストを保持できる行は、ハイブリッド構成、スライディングウィンドウ、MLA（Multi-head Latent Attention）のモデルで、標準的なTransformerのほんの一部しかキャッシュしません。計算の過程は各モデルのページにあります。

最初に届かなくなるモデルはLlama 3.3 70Bで、Q4_K_M・8kコンテキストで約45.8GBが必要です。使えるメモリは32GBです。Q3_K_Mに下げると約37.7GBが必要で、それでも収まりません。残りをシステムRAMにオフロードすれば動きますが、10〜50倍遅くなります。モデルが動くのを確かめる方法であって、使う方法ではありません。

消費電力やECCが制約になるとき、たとえば1台のワークステーションに複数枚を載せる場合に買う価値があります。そうした制約がなければ、5090が同じ32GBを保持し、2倍の速さで読み出します。より大きなモデルには、2枚目を買う代わりに、必要な時間だけ大きなGPUを借りる方法があります。

ワークステーション向けGPUは店頭価格ではなく見積もりで販売されるため、載せられる数字はひとつに決まりません。実際に検討している価格を、電気料金と実際の月間使用時間とあわせて購入とレンタルの比較ツールに入れてください。このGPUが負荷時に200Wを使うことは、ツールにすでに入っています。所有するほうが安くなる月がわかり、そうならない場合はそれがわかります。決め手になるのは、価格よりも月間の使用時間であることがはるかに多いです。

• RTX 5090：32GB・1,792GB/s・最適なモデルはMuse Glimmer 30B、約73トークン/秒。メモリ帯域幅で、快適に動かせる範囲を変えた初めてのコンシューマー向けGPUです。
• RTX PRO 4000 Blackwell：24GB・672GB/s・最適なモデルはMuse Glimmer 30B、約27トークン/秒。24GBを積んだ、シングルスロット・145Wのワークステーション向けGPUです。
• Radeon AI PRO R9700：32GB・640GB/s・最適なモデルはMuse Glimmer 30B、約26トークン/秒。AMDの32GBのワークステーション向けGPUで、RX 9070 XTと同じ帯域幅に2倍のメモリを載せ、ボード電力は300Wです。

全39種類のGPUはGPU一覧で並べて比較しています。同じ数値をモデルの側から見た表はモデルの適合表（英語）にあります。表を読む代わりに特定の組み合わせを確かめるなら、ローカルLLM動作チェッカーを使ってください。