RTX 4060 Ti
RTX 4060 Tiは、このサイトで扱う34のオープンモデルのうち12モデルを、Q4_K_M・8kコンテキストで動かせます（2026年10月16日に計算）。最大のモデルはgpt-oss 20Bで、必要量は13.4GB、生成速度は約97トークン/秒です。
- メモリ
- 16GB（VRAM）
- メモリ帯域幅
- 288GB/s
- ボード電力
- 165W
- 発売
- 2023年
- 入手方法
- 新品で販売中
RTX 4060 Tiで動くモデルの一覧
RTX 4060 Ti 16GBがGPUで使えるメモリは16GBで、メモリ帯域幅は288GB/sです。以下のモデルはすべて、多くの人が実際に使う設定であるQ4_K_M・8kコンテキストでの値です。5%の安全マージンを差し引くと、使えるのは15.2GBです。何が読み込めるかはメモリが、どれだけ速く応答するかは帯域幅が決めます。どちらも明示した計算式による推定値で、LLM VRAM計算ツールで計算の過程を確かめられます。
このGPUでは、15.2GB以下なら収まり、13.6GBを超えると「ぎりぎり」です。読み込めても会話に使える余裕はほとんどなく、同じ16GBでデスクトップ環境も動かしていると収まらなくなることがあります。トークン/秒は、メモリ帯域幅から求めたシングルストリームの推定値です。≤の付いた数値は上限で、実際のランタイムはこれを大きく下回ります。
計算・2026年10月16日実際に動かすならこのモデル
Gemma 4 12Bが、このGPUを最も有効に使えるモデルです。使うのは16GBのうち8.2GBで、生成速度は推定29トークン/秒（チャットなら快適）、コンテキストにはまだ131,072トークン分の余裕があります。
ベンチマークは引用していないため、選び方を説明します。モデルはサイズで比べ、MoE（Mixture of Experts）モデルは総パラメータとアクティブパラメータの幾何平均で数えます（経験則で、測定ではありません）。メモリに余裕を持って収まり、25トークン/秒以上で応答する最も大きいクラスを選び、その中で最も新しい汎用モデルを選んでいます。コーディングや推論に特化したモデルは上の一覧には載せていますが、標準ではおすすめしていません。
このGPUが保持できる最大のモデルはgpt-oss 20Bで、必要量は13.4GBです。81,920トークンのコンテキストを確保できます。MoEモデルで、トークンごとに読むパラメータは3.6Bだけなので、2つのうち速いのはこちらで、推定97トークン/秒です。その代わり、トークンごとにすべての重みを読む密（dense）モデルの深さはありません。
Q8_0でも約14.2GBで収まります。メモリが許すならQ8を選ぶ価値があります。Q4では精度が少し落ちますが、Q8はほぼ劣化がありません。
実際に収まるコンテキスト長
よく聞かれるのはモデルのサイズですが、実際に効いてくるのはコンテキストです。KVキャッシュは会話の長さに比例して大きくなるため、余裕を持って読み込めたモデルでも、長い文書の途中でメモリが尽きることがあります。16GBで使えるコンテキストは、重みを載せた残りの分だけです。同じモデルが動く2つのGPUでも、使い心地がまったく違うことがあるのはそのためです。以下は、Q4_K_Mの重みで、このGPUが保持できる最大のコンテキストです。
| モデル | 最大コンテキスト長（FP16のKV） | Q8のKVキャッシュ |
|---|---|---|
| Gemma 4 12B | 131,072トークン | 131,072トークン |
| Qwen3 14B | 34,816トークン | 40,960トークン・モデルの上限 |
| Phi-4 14B | 16,384トークン・モデルの上限 | 16,384トークン・モデルの上限 |
| Ministral 3 14B | 37,888トークン | 75,776トークン |
KVキャッシュをQ8に量子化すると、保持できる量はおよそ2倍になり、品質の低下はほとんどの人が気づかない程度です。このGPUでは、Ministral 3 14Bが37,888トークンから75,776トークンになります。上限は128kトークン、またはそれより小さければモデル自身のネイティブのコンテキスト長で、後者は「モデルの上限」と表示しています。それを超える空きメモリは何の役にも立ちません。サイズの割にはるかに多くのコンテキストを保持できる行は、ハイブリッド構成、スライディングウィンドウ、MLA（Multi-head Latent Attention）のモデルで、標準的なTransformerのほんの一部しかキャッシュしません。計算の過程は各モデルのページにあります。
このGPUの限界
最初に届かなくなるモデルはDevstral Small 2 24Bで、Q4_K_M・8kコンテキストで約16.3GBが必要です。使えるメモリは16GBです。Q3_K_Mに下げると約13.6GBが必要で、収まりますが、Q3は品質の低下が大きいため、たいていは小さなモデルをQ4で動かすほうが良い選択です。残りをシステムRAMにオフロードすれば動きますが、10〜50倍遅くなります。モデルが動くのを確かめる方法であって、使う方法ではありません。
購入かレンタルか
24GBで3倍以上の帯域幅を持つ中古の3090と比べると、新品で買う理由は見つけにくいです。速さより静かさと小ささが大事なら選ぶ価値がありますが、そうでなければその上のクラスを検討しましょう。
小売価格は変動し、今日書いた数字はひと月もたたずに古くなるため、このページには載せていません。実際に検討している価格を、電気料金と実際の月間使用時間とあわせて購入とレンタルの比較ツールに入れてください。このGPUが負荷時に165Wを使うことは、ツールにすでに入っています。所有するほうが安くなる月がわかり、そうならない場合はそれがわかります。決め手になるのは、価格よりも月間の使用時間であることがはるかに多いです。
率直な評価
近いクラスのGPUよりメモリは多いものの、メモリ帯域幅は2年古いGPUより少ないGPUです。
16GBの4060 Tiは、VRAMだけでGPUを選ぶのがなぜよくないかを、このページで最もはっきり示す例です。3060や4070より大きなモデルを保持できますが、生成はどちらよりも遅くなります。288GB/sという帯域幅が、ここに挙げたGPUの中で最も低いからです。小さく静かな165Wのマシンでどうしても16GBが必要で、待つことを気にしないなら、選ぶ意味があります。汎用的なアップグレードとしては意味がありません。
得意なこと
- 16GBあれば、14BのモデルがQ4で実用的なコンテキストとともに収まります。12GBのGPUでは、これを余裕を持って行うことはできません。
- 消費電力が低く静かで、電源ユニットを交換しなくても小型のPCに組み込めます。
- Ada世代のエンコーダーとドライバーを備えているため、デスクトップ用の汎用的なGPUとしては中古の3060より優れています。
向かないこと
- 288GB/sが決定的な制約です。同じ重みを読み込んだ場合、どのモデルもこのGPUでは3060より遅く動きます。
- メモリが多いぶん大きなモデルを使いたくなりますが、帯域幅の低さが最も響くのがまさにそこです。
- 生成するトークンあたりのコストパフォーマンスは、中古の24GBのGPUに比べて劣ります。
よくある誤解：288GB/sという帯域幅は、RTX 3060の360GB/sより低い値です。より安く、古く、メモリも少ないGPUのほうが、テキストを速く生成します。容量より速さを重視するなら、この「アップグレード」はダウングレードです。
ほかの選択肢との比較
- RTX 3090：24GB・936GB/s・最適なモデルはMuse Glimmer 30B、約38トークン/秒。ローカルモデルのコストパフォーマンスの基準で、何年もその座にあるGPUです。
- RTX 4070：12GB・504GB/s・最適なモデルはGemma 4 12B、約51トークン/秒。クラスの割に速いものの、12GBで頭打ちになるGPUです。
- RTX 3060：12GB・360GB/s・最適なモデルはGemma 4 12B、約36トークン/秒。ローカルモデルを動かす価値がまだある、最も安いGPUです。
全39種類のGPUはGPU一覧で並べて比較しています。同じ数値をモデルの側から見た表はモデルの適合表（英語）にあります。表を読む代わりに特定の組み合わせを確かめるなら、ローカルLLM動作チェッカーを使ってください。
よくある質問
- RTX 4060 Tiで70Bのモデルは動く？
- Q4_K_Mでは、1枚では動きません。Llama 3.3 70Bは8kコンテキストで約45.8GBが必要で、このGPUが使えるのは16GBです。選択肢は、より小さなモデルにするか、コンテキストをごく短くしてより強く量子化するか、2枚に分けるか、必要な時間だけより大きなGPUを借りるかです。
- RTX 4060 Tiで動かすのに最適なモデルは？
- Gemma 4 12Bです。Q4_K_M・8kコンテキストでは、使える16GBのうち約8.2GBを使い、生成速度は推定29トークン/秒で、体感は「チャットなら快適」です。Q8でも約14.2GBで収まるので、収まるならQ8を選ぶ価値があります。
- RTX 4060 Tiの生成速度は何トークン/秒？
- モデルのサイズ次第です。トークンを生成するたびに、アクティブな重みをすべてメモリから読み出すからです。288GB/s・効率70%で、このGPUは8BのモデルをQ4で推定43トークン/秒で生成します。保持できる最大のモデルのgpt-oss 20Bでは約97トークン/秒です。人が文章を読む速さは毎秒5〜8語ほどなので、25を超えれば一瞬に感じます。43は288GB/sから求めた上限で、実測ではありません。数値が大きいほど、実際のランタイムはこれを大きく下回ります。
- ローカルLLMに16GBで足りる？
- このサイトで扱う34モデルのうち12モデルが、Q4_K_M・8kコンテキストで動きます。最大で21Bパラメータまでです。本当の試金石はモデルの一覧ではなくコンテキストです。このGPUでGemma 4 12Bを動かすと、メモリが尽きるまでに約131,072トークンを保持できます。
- ローカルモデルにはRTX 4060 TiとRTX 3090のどちら？
- RTX 3090のほうが多く保持できます（24GB対16GB）。そのため、このGPUの12モデルに対して、28モデルが動きます。速度では、RTX 3090のほうが速く、936GB/s対288GB/sです。チャットの速さを決めるのは帯域幅です。
- RTX 4060 Ti 16GBは、なぜ安いGPUよりLLMの実行が遅い？
- テキスト生成の速さを決めるのは計算性能や容量ではなくメモリ帯域幅で、このGPUの帯域幅は288GB/sと、ここに挙げた中で最も低いからです。12GBのRTX 3060は360GB/s、12GBのRTX 4070は504GB/sでメモリを読み出すため、3枚すべてに収まるモデルなら、どちらもより速く生成します。4060 Tiが勝つのは、モデルが12GBより多くのメモリを必要とする場合だけです。
- ローカルAIには16GBのVRAMで足りる？
- 14BクラスのモデルをQ4・実用的なコンテキストで動かすには十分で、日常的な用途の大半はこれでまかなえます。32Bクラスには足りません。オープンモデルが本当に有能だと感じられ始めるのはこのクラスからで、そこへ進むには24GBが必要です。
- メモリ：重み（パラメータ数 × パラメータあたりのバイト数）＋KVキャッシュ（標準的なTransformerでは2 × レイヤー数 × KVヘッド数 × ヘッド次元 × コンテキスト長 × バイト数。スライディングウィンドウ、ハイブリッド構成、MLAのモデルは実際のキャッシュのとおりに計算）＋ランタイム0.5GB＋重みの4%。導出の詳細はLLM VRAM計算ツールにあります。
- 速度：70% × メモリ帯域幅 ÷ アクティブな重みのバイト数。シングルストリーム、バッチ処理なし、プロンプト処理は含みません。実測ではなく上限です。≤の付いた数値（12個中1個）は、トークンごとに読む重みがごく少ないため、実際のランタイムが数値を最も大きく下回る箇所です。詳しくは生成速度（トークン/秒）推定ツールをご覧ください。
- GPUの仕様（メーカーの数値）：16GB、288GB/s、165W。NVIDIAによるこのGPUの公式ページを参照してください。メモリ帯域幅の数値：NVIDIAはこのGPUの数値を公表していないため、128ビット × 18Gbps ÷ 8で計算しています。バス幅はNVIDIAのページから、データレートはNVIDIA自身のストアにある16GB版の製品ページから取っています。
- モデルのアーキテクチャの値は、各モデルが公開しているconfigから取っています。それぞれの値が何を変えるかは、LLMのセルフホストのガイド（英語）で説明しています。