RTX 3060

Gemma 4 12Bが、このGPUを最も有効に使えるモデルです。使うのは12GBのうち8.2GBで、生成速度は推定36トークン/秒（チャットなら快適）、コンテキストにはまだ131,072トークン分の余裕があります。

ベンチマークは引用していないため、選び方を説明します。モデルはサイズで比べ、MoE（Mixture of Experts）モデルは総パラメータとアクティブパラメータの幾何平均で数えます（経験則で、測定ではありません）。メモリに余裕を持って収まり、25トークン/秒以上で応答する最も大きいクラスを選び、その中で最も新しい汎用モデルを選んでいます。コーディングや推論に特化したモデルは上の一覧には載せていますが、標準ではおすすめしていません。

このGPUが保持できる最大のモデルはQwen3 14Bで、必要量は10.8GBです。ただし、普段使いには向きません。メモリの90%を埋めるため、会話に使えるのは11,264トークンだけです。生成速度も、36トークン/秒に対して29トークン/秒です。文書の途中でコンテキストが尽きるなら、パラメータが多くても割に合いません。

パラメータ数より品質を重視するなら、Qwen3 8BがQ8_0で約10.7GBに収まります。Q8はほぼ劣化がなく、Q8の小さなモデルは、Q3に押し込んだ大きなモデルに勝つことがよくあります。

KVキャッシュをQ8に量子化すると、保持できる量はおよそ2倍になり、品質の低下はほとんどの人が気づかない程度です。このGPUでは、Qwen3 14Bが11,264トークンから23,552トークンになります。上限は128kトークン、またはそれより小さければモデル自身のネイティブのコンテキスト長で、後者は「モデルの上限」と表示しています。それを超える空きメモリは何の役にも立ちません。サイズの割にはるかに多くのコンテキストを保持できる行は、ハイブリッド構成、スライディングウィンドウ、MLA（Multi-head Latent Attention）のモデルで、標準的なTransformerのほんの一部しかキャッシュしません。計算の過程は各モデルのページにあります。

最初に届かなくなるモデルはgpt-oss 20Bで、Q4_K_M・8kコンテキストで約13.4GBが必要です。使えるメモリは12GBです。Q3_K_Mに下げると約11GBが必要で、収まりますが、Q3は品質の低下が大きいため、たいていは小さなモデルをQ4で動かすほうが良い選択です。残りをシステムRAMにオフロードすれば動きますが、10〜50倍遅くなります。モデルが動くのを確かめる方法であって、使う方法ではありません。

このリストの中で、たいてい購入が正解になる唯一のGPUです。出費が小さいので、月に数時間しか使わなくても、すぐに元が取れるからです。実際の中古価格を購入とレンタルの比較ツールに入れて確かめてください。

このGPUを選ぶ理由はすべて中古価格にあり、その価格は週ごとに変わるため、ここに数字を載せるのは載せないより悪い結果になります。実際に検討している価格を、電気料金と実際の月間使用時間とあわせて購入とレンタルの比較ツールに入れてください。このGPUが負荷時に170Wを使うことは、ツールにすでに入っています。所有するほうが安くなる月がわかり、そうならない場合はそれがわかります。決め手になるのは、価格よりも月間の使用時間であることがはるかに多いです。

• RTX 4070：12GB・504GB/s・最適なモデルはGemma 4 12B、約51トークン/秒。クラスの割に速いものの、12GBで頭打ちになるGPUです。
• RTX 4060 Ti：16GB・288GB/s・最適なモデルはGemma 4 12B、約29トークン/秒。近いクラスのGPUよりメモリは多いものの、メモリ帯域幅は2年古いGPUより少ないGPUです。
• RTX 3090：24GB・936GB/s・最適なモデルはMuse Glimmer 30B、約38トークン/秒。ローカルモデルのコストパフォーマンスの基準で、何年もその座にあるGPUです。

全39種類のGPUはGPU一覧で並べて比較しています。同じ数値をモデルの側から見た表はモデルの適合表（英語）にあります。表を読む代わりに特定の組み合わせを確かめるなら、ローカルLLM動作チェッカーを使ってください。