ローカルLLMを動かすのに必要なGPUは？
何が動くかはメモリで決まります。Q4_K_M・8kコンテキストでは、24GBのGPUでこのサイトが扱う34のオープンモデルのうち28モデル、96GBのGPUで34モデルすべてが動きます（2026年10月16日に計算）。どれだけ速いかは帯域幅で決まります。以下では、メモリ容量ごとに最も速いGPUを示し、続いて全39種類を比較します。
- GPU
- 39種類
- モデル
- 34
- 設定
- Q4_K_M・8kコンテキスト
- 計算日
- 2026年10月16日
メモリ容量ごとのおすすめ
同じメモリ容量のGPUでは、動くモデルはまったく同じです。収まるかどうかはメモリだけで決まるからです。そこで各容量では、机に置けるGPUのうち最も速く応答するもの、つまりメモリ帯域幅が最も高いものを選んでいます。データセンター向けGPUは借りるものなので、除いています。容量の区切りは、ローカルLLM動作チェッカーとモデルのページで使っているものと同じです。
8GBにはおすすめがありません。この容量のGPUがここにはないためです。80GBにあるのはA100、H100 SXMだけで、どれも借りるデータセンター向けGPUです。時間料金はクラウドGPUの料金ガイド（英語）にあります。RX 7900 XT（20GB）は、2つの容量の間にあります。96GBを超えると、ここにあるマシンはどれも34モデルすべてが動くため、メモリを増やして得られるのは、より多くのモデルではなく、より長いコンテキストと高い精度です。下のユニファイドメモリのマシンとMacがそれにあたります。価格によるおすすめはありません。店頭価格は週ごとに変わるため、このページには載せていません。購入とレンタルの比較ツールに自分の価格を入れて比べられます。
計算・2026年10月16日重要な数値は2つだけ
GPUとモデルがもう決まっているなら、ローカルLLM動作チェッカーがその組み合わせに直接答えます。このページのGPUは、すべて同じ方法で評価しています。このサイトで扱う34のオープンモデルのそれぞれを、Q4_K_M・8kコンテキストで、そのGPUが実際に使えるメモリと比べています。ベンチマークは使っていません。メモリは明示した計算式から、速度はメモリ帯域幅から求めており、どちらもその旨を表示しています。
何が動くかはメモリで決まります。モデルは、KVキャッシュも含めて丸ごと収まる必要があります。収まらなければ「少し遅くなる」のではなく、足りない分がシステムRAMにあふれるため、10〜50倍遅くなります。収まるかどうかは二択で、最初のふるいです。
どれだけ速く応答するかは帯域幅で決まります。トークンを1つ生成するには、アクティブな重みをすべてメモリから読み出す必要があるため、上限はメモリ帯域幅を重みのサイズで割った値になります。仕様のほかの部分がどうであれ、チャットでは1008GB/sのGPUが936GB/sのGPUより約7%しか速くないのはこのためです。288GB/sの16GBのRTX 4060 Tiが、より安い12GBのRTX 3060より生成が遅いのも、同じ理由です。
演算性能（コア数やTFLOPsなど、多くのレビューに載っている数値）は、チャットの速さにはほとんど影響しません。効くのはプロンプト処理、画像・動画生成、多くの人に同時に提供する場合です。1人でモデルに質問を打ち込む用途では、ほぼ無関係です。
全GPUの比較
| GPU | 使えるメモリ | メモリ帯域幅 | 動くモデル | 保持できる最大のモデル |
|---|---|---|---|---|
| RTX 3060 | 12GB | 360GB/s | 11/34 | Qwen3 14B・29トークン/秒 |
| Arc B580 | 12GB | 456GB/s | 11/34 | Qwen3 14B・37トークン/秒 |
| RTX 4070 | 12GB | 504GB/s | 11/34 | Qwen3 14B・41トークン/秒 |
| RTX 5070 | 12GB | 672GB/s | 11/34 | Qwen3 14B・55トークン/秒 |
| RTX 4060 Ti | 16GB | 288GB/s | 12/34 | gpt-oss 20B・97トークン/秒 |
| RX 9060 XT | 16GB | 320GB/s | 12/34 | gpt-oss 20B・107トークン/秒 |
| RTX 5060 Ti | 16GB | 448GB/s | 12/34 | gpt-oss 20B・150トークン/秒 |
| RX 9070 XT | 16GB | 640GB/s | 12/34 | gpt-oss 20B・215トークン/秒 |
| RTX 4080 SUPER | 16GB | 736GB/s | 12/34 | gpt-oss 20B・247トークン/秒 |
| RTX 5070 Ti | 16GB | 896GB/s | 12/34 | gpt-oss 20B・300トークン/秒 |
| RTX 5080 | 16GB | 960GB/s | 12/34 | gpt-oss 20B・322トークン/秒 |
| RX 7900 XT | 20GB | 800GB/s | 19/34 | Muse Glimmer 30B・32トークン/秒 |
| RTX PRO 4000 Blackwell SFF | 24GB | 432GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・174トークン/秒 |
| Arc Pro B60 | 24GB | 456GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・183トークン/秒 |
| RTX PRO 4000 Blackwell | 24GB | 672GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・270トークン/秒 |
| RTX 3090 | 24GB | 936GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・377トークン/秒 |
| RX 7900 XTX | 24GB | 960GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・386トークン/秒 |
| RTX 4090 | 24GB | 1,008GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・406トークン/秒 |
| Arc Pro B70 | 32GB | 608GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・245トークン/秒 |
| Radeon AI PRO R9700 | 32GB | 640GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・257トークン/秒 |
| RTX PRO 4500 Blackwell | 32GB | 896GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・360トークン/秒 |
| RTX 5090 | 32GB | 1,792GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・721トークン/秒 |
| Mac mini M4 Pro | 48GB（64GB中） | 273GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・110トークン/秒 |
| Mac mini M5 Pro | 48GB（64GB中） | 307GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・124トークン/秒 |
| RTX A6000 | 48GB | 768GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・309トークン/秒 |
| L40S | 48GB | 864GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・348トークン/秒 |
| RTX 6000 Ada | 48GB | 960GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・386トークン/秒 |
| RTX PRO 5000 Blackwell | 48GB | 1,344GB/s | 28/34 | Qwen3.6 35B-A3B (MoE)・541トークン/秒 |
| A100 | 80GB | 2,039GB/s | 34/34 | Mistral Small 4 119B (MoE)・379トークン/秒 |
| H100 SXM | 80GB | 3,350GB/s | 34/34 | Mistral Small 4 119B (MoE)・622トークン/秒 |
| Ryzen AI Max+ 395 | 96GB（128GB中） | 256GB/s | 34/34 | Mistral Small 4 119B (MoE)・48トークン/秒 |
| MacBook Pro M4 Max | 96GB（128GB中） | 546GB/s | 34/34 | Mistral Small 4 119B (MoE)・101トークン/秒 |
| MacBook Pro M5 Max | 96GB（128GB中） | 614GB/s | 34/34 | Mistral Small 4 119B (MoE)・114トークン/秒 |
| RTX PRO 6000 Blackwell | 96GB | 1,792GB/s | 34/34 | Mistral Small 4 119B (MoE)・333トークン/秒 |
| RTX Spark | 102GB（128GB中） | 300GB/s | 34/34 | Mistral Small 4 119B (MoE)・56トークン/秒 |
| DGX Spark | 126GB（128GB中） | 273GB/s | 34/34 | Mistral Small 4 119B (MoE)・51トークン/秒 |
| Mac Studio M2 Ultra | 144GB（192GB中） | 800GB/s | 34/34 | Mistral Small 4 119B (MoE)・149トークン/秒 |
| Mac Studio M3 Ultra | 384GB（512GB中） | 819GB/s | 34/34 | Mistral Small 4 119B (MoE)・152トークン/秒 |
| Mac Studio M5 Ultra | 384GB（512GB中） | 1,200GB/s | 34/34 | Mistral Small 4 119B (MoE)・223トークン/秒 |
「使えるメモリ」は、ランタイムが使えるメモリです。グラフィックスカードではVRAM全体、AppleシリコンではシステムRAMの約75%（macOSのデフォルト）です。「動くモデル」は、Q4_K_M・8kコンテキストで、使えるメモリの95%以下に収まるモデルの数です。
計算・2026年10月16日コンシューマー向けGPU
手持ちのデスクトップに挿すGPUです。何が動くかの上限はメモリが、どれだけ速く応答するかの上限は帯域幅が決めます。
- RTX 3060 12GB・360GB/s・170W・2021年・主に中古
ローカルモデルを動かす価値がまだある、最も安いGPUです。
34モデル中11モデルが動く・最適：Gemma 4 12B、約36トークン/秒 - Arc B580 12GB・456GB/s・190W・2024年・新品で販売中
Intelの12GBのGPUで、メモリはRTX 3060 12GBより速いものの、ソフトウェアの歴史はまだ浅いです。
34モデル中11モデルが動く・最適：Gemma 4 12B、約46トークン/秒 - RTX 4070 12GB・504GB/s・200W・2023年・新品で販売中
クラスの割に速いものの、12GBで頭打ちになるGPUです。
34モデル中11モデルが動く・最適：Gemma 4 12B、約51トークン/秒 - RTX 5070 12GB・672GB/s・250W・2025年・新品で販売中
メモリは速いものの量が足りない、672GB/sで12GBのGPUです。
34モデル中11モデルが動く・最適：Gemma 4 12B、約68トークン/秒 - RTX 4060 Ti 16GB・288GB/s・165W・2023年・新品で販売中
近いクラスのGPUよりメモリは多いものの、メモリ帯域幅は2年古いGPUより少ないGPUです。
34モデル中12モデルが動く・最適：Gemma 4 12B、約29トークン/秒 - RX 9060 XT 16GB・320GB/s・160W・2025年・新品で販売中
AMDの低価格帯の16GBのGPUで、メモリ容量は十分ですが、帯域幅は低めです。
34モデル中12モデルが動く・最適：Gemma 4 12B、約32トークン/秒 - RTX 5060 Ti 16GB・448GB/s・180W・2025年・新品で販売中
ハイエンドより下で最も新しい16GBのGeForceで、置き換え対象の4060 Tiから明確に進歩しています。
34モデル中12モデルが動く・最適：Gemma 4 12B、約45トークン/秒 - RX 9070 XT 16GB・640GB/s・304W・2025年・新品で販売中
AMDのRDNA 4世代のゲーム向けGPUで、16GB・640GB/s、LinuxとWindowsでROCmが使え、CUDAはありません。
34モデル中12モデルが動く・最適：Gemma 4 12B、約64トークン/秒 - RTX 4080 SUPER 16GB・736GB/s・320W・2024年・主に中古
言語モデルで重要な数値のどちらでも、中古の3090に負ける16GBのゲーム向けGPUです。
34モデル中12モデルが動く・最適：Gemma 4 12B、約74トークン/秒 - RTX 5070 Ti 16GB・896GB/s・300W・2025年・新品で販売中
5080と同じメモリバスと16GBを持ち、読み出しは約7%遅いGPUです。
34モデル中12モデルが動く・最適：Gemma 4 12B、約90トークン/秒 - RTX 5080 16GB・960GB/s・360W・2025年・新品で販売中
3090並みの帯域幅を持つ16GBのGPUで、収まるモデルは速く動きますが、収まる量は5060 Ti 16GBと変わりません。
34モデル中12モデルが動く・最適：Gemma 4 12B、約97トークン/秒 - RX 7900 XT 20GB・800GB/s・315W・2022年・新品で販売中
XTXの弟分にあたる20GB・800GB/sのGPUで、どの16GBのGPUよりも多くのメモリを載せています。
34モデル中19モデルが動く・最適：Mistral Small 3.1 24B、約40トークン/秒 - RTX 3090 24GB・936GB/s・350W・2020年・主に中古
ローカルモデルのコストパフォーマンスの基準で、何年もその座にあるGPUです。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約38トークン/秒 - RX 7900 XTX 24GB・960GB/s・355W・2022年・新品で販売中
3090クラスのメモリ容量と帯域幅を持ちながらCUDAのない、AMDの24GBのGPUです。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約39トークン/秒 - RTX 4090 24GB・1,008GB/s・450W・2022年・主に中古
ローカルモデルに関するアドバイスの多くが、暗黙のうちに前提としているGPUです。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約41トークン/秒 - RTX 5090 32GB・1,792GB/s・575W・2025年・新品で販売中
メモリ帯域幅で、快適に動かせる範囲を変えた初めてのコンシューマー向けGPUです。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約73トークン/秒
ワークステーション向けGPU
机の下に置くマシンで、部屋で許容できる消費電力と騒音のまま、大容量のメモリを使えます。お金を払うのは、速さではなくアドレス空間に対してです。
- RTX PRO 4000 Blackwell SFF 24GB・432GB/s・70W・2025年・ワークステーション向け
小型のAIマシンに組み込まれるタイプの、24GB・70Wの小さなGPUです。
34モデル中28モデルが動く・最適：Gemma 4 12B、約43トークン/秒 - Arc Pro B60 24GB・456GB/s・200W・2025年・ワークステーション向け
Intelの24GBのワークステーション向けGPUで、B580と同じ帯域幅に2倍のメモリを載せています。
34モデル中28モデルが動く・最適：Gemma 4 12B、約46トークン/秒 - RTX PRO 4000 Blackwell 24GB・672GB/s・145W・2025年・ワークステーション向け
24GBを積んだ、シングルスロット・145Wのワークステーション向けGPUです。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約27トークン/秒 - Arc Pro B70 32GB・608GB/s・230W・2026年・ワークステーション向け
Intelの32GBのワークステーション向けGPUで、RTX 5090と同じ容量を608GB/sで読み出し、Intelのソフトウェアで動かします。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約25トークン/秒 - Radeon AI PRO R9700 32GB・640GB/s・300W・2025年・ワークステーション向け
AMDの32GBのワークステーション向けGPUで、RX 9070 XTと同じ帯域幅に2倍のメモリを載せ、ボード電力は300Wです。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約26トークン/秒 - RTX PRO 4500 Blackwell 32GB・896GB/s・200W・2025年・ワークステーション向け
5090と同じ32GBを、その半分の帯域幅で、2スロット・200Wのカードに載せたGPUです。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約36トークン/秒 - RTX A6000 48GB・768GB/s・300W・2020年・ワークステーション向け
レンタルの掲載情報でよく見かける48GBのGPUで、Ampere世代・768GB/sと、メモリの読み出しは3090より遅いです。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約31トークン/秒 - RTX 6000 Ada 48GB・960GB/s・300W・2022年・ワークステーション向け
普通のPCに48GBを、300Wで、騒音なしに載せられるGPUです。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約39トークン/秒 - RTX PRO 5000 Blackwell 48GB・1,344GB/s・300W・2025年・ワークステーション向け
2スロット・300Wのカードに1,344GB/sの48GBを載せたGPUで、同じ速さの72GB版もあります。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約54トークン/秒 - RTX PRO 6000 Blackwell 96GB・1,792GB/s・600W・2025年・ワークステーション向け
96GBと5090クラスの帯域幅を、1枚で備えたGPUです。
34モデル中34モデルが動く・最適：Llama 3.3 70B、約31トークン/秒
データセンター向けGPU
レンタルの請求書に並ぶ項目として出会うGPUです。借りると何が手に入るかの基準になるため、ここに載せています。
- L40S 48GB・864GB/s・350W・2023年・購入ではなくレンタル
購入するのではなく、レンタルの明細の1行として出会う48GBのGPUです。
34モデル中28モデルが動く・最適：Muse Glimmer 30B、約35トークン/秒 - A100 80GB・2,039GB/s・2020年・購入ではなくレンタル
データセンターで長く使われてきた主力のGPUで、肝心なところは今も速く、安く借りられます。
34モデル中34モデルが動く・最適：Llama 3.3 70B、約35トークン/秒 - H100 SXM 80GB・3,350GB/s・700W・2022年・購入ではなくレンタル
ここに挙げた中で群を抜いて速いメモリを持ち、ほとんどの場合、1人で使うには過剰なGPUです。
34モデル中34モデルが動く・最適：Llama 3.3 70B、約57トークン/秒
ユニファイドメモリのデスクトップ
GPUがシステムメモリを共有するNVIDIAやAMDのチップで、小さな筐体でもゲーム向けGPUには収まらないモデルを保持できます。弱点は帯域幅で、メモリを読む速さはRTX 4090の約4分の1です。
- Ryzen AI Max+ 395 128GB中96GBが使用可能・256GB/s・2025年・新品で販売中
WindowsではGPUに最大96GBを割り当てられ、x86で大きなMoEモデルを動かす道になる、ノートPCとミニPC向けのAMDの128GBのチップです。
34モデル中34モデルが動く・最適：Nemotron 3.5 Bolt 74B-A9B (MoE)、約34トークン/秒 - RTX Spark 128GB中102GBが使用可能・300GB/s・2026年・新品で販売中
WindowsのノートPCやミニPC向けのNVIDIAのチップで、最大128GBをGPUと共有して300GB/sで読み出し、CUDAが動きます。
34モデル中34モデルが動く・最適：Nemotron 3.5 Bolt 74B-A9B (MoE)、約40トークン/秒 - DGX Spark 128GB中126GBが使用可能・273GB/s・140W・2025年・新品で販売中
GPUと共有できる128GBを積んだ、NVIDIAの小型Linuxマシンです。大きなモデルも収まりますが、メモリを読む速さはRTX 4090の約4分の1です。
34モデル中34モデルが動く・最適：Nemotron 3.5 Bolt 74B-A9B (MoE)、約37トークン/秒
Appleのユニファイドメモリ
GPUがシステムRAMの大部分を使えるため、どのGPU1枚にも収まらないモデルを保持できます。生成の速さは十分ですが、プロンプト処理はそうではありません。
- Mac mini M4 Pro 64GB中48GBが使用可能・273GB/s・2024年・Appleのユニファイドメモリ
どのコンシューマー向けGPUよりも多いメモリをGPUに割り当てられる、小さく静かなMacで、メモリは273GB/sで読み出します。
34モデル中28モデルが動く・最適：Gemma 4 12B、約27トークン/秒 - Mac mini M5 Pro 64GB中48GBが使用可能・307GB/s・2026年・Appleのユニファイドメモリ
ローカルモデル向けの、Appleの現行のMac miniで、最大64GBのメモリを307GB/sで読み出します。
34モデル中28モデルが動く・最適：Gemma 4 12B、約31トークン/秒 - MacBook Pro M4 Max 128GB中96GBが使用可能・546GB/s・2024年・Appleのユニファイドメモリ
デスクトップのGPUには収まらないモデルを動かせるノートPCです。
34モデル中34モデルが動く・最適：Nemotron 3.5 Bolt 74B-A9B (MoE)、約73トークン/秒 - MacBook Pro M5 Max 128GB中96GBが使用可能・614GB/s・2026年・Appleのユニファイドメモリ
40コアGPUの構成を選べば、大きなモデルが収まり614GB/sで読み出せる、Appleの128GBのノートPCです。
34モデル中34モデルが動く・最適：Nemotron 3.5 Bolt 74B-A9B (MoE)、約82トークン/秒 - Mac Studio M2 Ultra 192GB中144GBが使用可能・800GB/s・2023年・Appleのユニファイドメモリ
長いプロンプトで待たされるのを我慢できるなら、非常に大きなモデルを静かに保持できるマシンです。
34モデル中34モデルが動く・最適：Muse Glimmer 30B、約32トークン/秒 - Mac Studio M3 Ultra 512GB中384GBが使用可能・819GB/s・2025年・Appleのユニファイドメモリ
今も非常に大きなモデルを保持する手段であり、現在は主に中古で出回っている、2025年の512GBのMac Studioです。
34モデル中34モデルが動く・最適：Muse Glimmer 30B、約33トークン/秒 - Mac Studio M5 Ultra 512GB中384GBが使用可能・1,200GB/s・2026年・Appleのユニファイドメモリ
机に置けるマシンでいちばん多くのメモリを積め、最大512GBを1.2TB/sで読み出せますが、CUDAはありません。
34モデル中34モデルが動く・最適：Muse Glimmer 30B、約49トークン/秒
選び方の要点
実際に動かしたい最大のモデルを決め、それが収まるメモリを買い、帯域幅はそのメモリに付いてくるものを受け入れましょう。逆の順番（速いGPUを選んで、モデルが収まることを期待する）で選ぶと、目当てのモデル以外は何でも速く動くGPUを手にすることになりがちです。どのモデルを使いたいか決まっていないなら、LLM VRAM計算ツールから始めましょう。各モデルが収まる最小のGPUがわかります。モデルが決まっていて、使い心地を知りたいなら、生成速度（トークン/秒）推定ツールが答えます。どちらも決まっていて、そもそも買うべきかが問題なら、購入とレンタルの比較ツールに自分の使用時間と電気料金を入れてください。
率直に言えば、ほとんどの人は買いすぎです。損得を決めるのは月間の使用時間で、遊んでいるGPUは元が取れていないGPUです。Mistral Small 4 119B (MoE)が動くクラスのGPUを月に数時間借りるほうが、このページのほとんどどのGPUを所有するより安く済みます。購入が得になるのはいつかは、比較ツールが教えてくれます。
- GPUの仕様はメーカーの数値（メモリ容量、メモリ帯域幅、ボード電力）です。各GPUのページに、メーカー自身のページへのリンクがあります。
- メモリの推定値：重み＋KVキャッシュ＋ランタイムのオーバーヘッド。計算式はLLM VRAM計算ツールのとおりです。
- 速度の推定値：70% × メモリ帯域幅 ÷ アクティブな重みのバイト数。シングルストリームで、プロンプト処理とバッチ処理は含みません。これらはメモリ帯域幅から計算した上限（理論値）で、実測値ではありません。測定していない誤差の幅も示していません。数値が大きいほど、実際のランタイムはこの値を大きく下回ります。小さいモデルやMoEモデルのように1トークンあたりに読む重みが少ないと、この式が含めないコスト（カーネルの起動、エキスパートのルーティング、KVキャッシュの読み込み、サンプリング）が1トークンごとの時間に占める割合が大きくなるためです。
- このページには、意図的に価格を載せていません。価格は週ごとに変わるため、購入とレンタルの比較ツールでは自分の価格を使います。
- すべてのGPUとすべてのモデルの、すべての量子化での収まり方は、オープンデータ（英語）としても公開しています。CC BY 4.0のCSVとJSONで、ZenodoにDOI付きでアーカイブしています。