RX 9070 XT

Gemma 4 12Bが、このGPUを最も有効に使えるモデルです。使うのは16GBのうち8.2GBで、生成速度は推定64トークン/秒（読むより速い）、コンテキストにはまだ131,072トークン分の余裕があります。

ベンチマークは引用していないため、選び方を説明します。モデルはサイズで比べ、MoE（Mixture of Experts）モデルは総パラメータとアクティブパラメータの幾何平均で数えます（経験則で、測定ではありません）。メモリに余裕を持って収まり、25トークン/秒以上で応答する最も大きいクラスを選び、その中で最も新しい汎用モデルを選んでいます。コーディングや推論に特化したモデルは上の一覧には載せていますが、標準ではおすすめしていません。

このGPUが保持できる最大のモデルはgpt-oss 20Bで、必要量は13.4GBです。81,920トークンのコンテキストを確保できます。MoEモデルで、トークンごとに読むパラメータは3.6Bだけなので、2つのうち速いのはこちらで、推定215トークン/秒です。その代わり、トークンごとにすべての重みを読む密（dense）モデルの深さはありません。

Q8_0でも約14.2GBで収まります。メモリが許すならQ8を選ぶ価値があります。Q4では精度が少し落ちますが、Q8はほぼ劣化がありません。

KVキャッシュをQ8に量子化すると、保持できる量はおよそ2倍になり、品質の低下はほとんどの人が気づかない程度です。このGPUでは、Ministral 3 14Bが37,888トークンから75,776トークンになります。上限は128kトークン、またはそれより小さければモデル自身のネイティブのコンテキスト長で、後者は「モデルの上限」と表示しています。それを超える空きメモリは何の役にも立ちません。サイズの割にはるかに多くのコンテキストを保持できる行は、ハイブリッド構成、スライディングウィンドウ、MLA（Multi-head Latent Attention）のモデルで、標準的なTransformerのほんの一部しかキャッシュしません。計算の過程は各モデルのページにあります。

最初に届かなくなるモデルはDevstral Small 2 24Bで、Q4_K_M・8kコンテキストで約16.3GBが必要です。使えるメモリは16GBです。Q3_K_Mに下げると約13.6GBが必要で、収まりますが、Q3は品質の低下が大きいため、たいていは小さなモデルをQ4で動かすほうが良い選択です。残りをシステムRAMにオフロードすれば動きますが、10〜50倍遅くなります。モデルが動くのを確かめる方法であって、使う方法ではありません。

動かすモデルが16GBで足り、ツールごとにROCmやVulkanへの対応を確かめるのが苦にならないなら、妥当な新品のGPUです。24GBが必要なら、RX 7900 XTXか中古のRTX 3090のほうが多く保持でき、速く読み出します。ときどき大きなモデルを使うだけなら、1つ上のクラスを買うより、大きなGPUを時間単位で借りるほうが安く済みます。

小売価格は変動し、今日書いた数字はひと月もたたずに古くなるため、このページには載せていません。実際に検討している価格を、電気料金と実際の月間使用時間とあわせて購入とレンタルの比較ツールに入れてください。このGPUが負荷時に304Wを使うことは、ツールにすでに入っています。所有するほうが安くなる月がわかり、そうならない場合はそれがわかります。決め手になるのは、価格よりも月間の使用時間であることがはるかに多いです。

• Radeon AI PRO R9700：32GB・640GB/s・最適なモデルはMuse Glimmer 30B、約26トークン/秒。AMDの32GBのワークステーション向けGPUで、RX 9070 XTと同じ帯域幅に2倍のメモリを載せ、ボード電力は300Wです。
• RTX 5060 Ti：16GB・448GB/s・最適なモデルはGemma 4 12B、約45トークン/秒。ハイエンドより下で最も新しい16GBのGeForceで、置き換え対象の4060 Tiから明確に進歩しています。
• RX 7900 XTX：24GB・960GB/s・最適なモデルはMuse Glimmer 30B、約39トークン/秒。3090クラスのメモリ容量と帯域幅を持ちながらCUDAのない、AMDの24GBのGPUです。

全39種類のGPUはGPU一覧で並べて比較しています。同じ数値をモデルの側から見た表はモデルの適合表（英語）にあります。表を読む代わりに特定の組み合わせを確かめるなら、ローカルLLM動作チェッカーを使ってください。