モデルとGPUがすでに決まっているなら、ローカルLLM動作チェッカーでその組み合わせを直接確かめられます。以下では、このサイトで扱うオープンモデル34種すべてを、Q4_K_M・8kコンテキストという同じ条件で比べています。最小はLlama 3.2 3Bの3.4GB、最大はMistral Small 4 119B (MoE)の72.5GBです。この設定で24GBのGPUに収まるのは28種です。ここで示す数値は、ベンチマークで測ったものではありません。メモリは各モデルが公開しているアーキテクチャに、明示した計算式を当てはめて求めたもので、各モデルのページから数値の読み取り元のファイルにリンクしています。
全モデルの比較
| モデル | サイズ | Q4・8k | Q8・8k | 1kトークンあたり | コンテキスト長 | 最小のGPU |
|---|---|---|---|---|---|---|
| Llama 3.2 3B | 3.2B | 3.4GB | 5GB | 0.115GB | 128k | 8GB |
| Qwen3.5 4B | 4.7B | 3.7GB | 6GB | 0.033GB | 256k | 8GB |
| Llama 3.1 8B | 8B | 6.4GB | 10.4GB | 0.131GB | 128k | 8GB |
| Qwen3 8B | 8.2B | 6.7GB | 10.7GB | 0.147GB | 40k | 8GB |
| Qwen3.5 9B | 9.7B | 6.7GB | 11.5GB | 0.033GB | 256k | 8GB |
| Granite 4.2 8B | 8.8B | 7.2GB | 11.5GB | 0.164GB | 128k | 8GB |
| Gemma 4 12B | 12B | 8.2GB | 14.2GB | 0.016GB | 256k | 12GB |
| Gemma 3 12B | 12.2B | 8.7GB | 14.8GB | 0.066GB | 128k | 12GB |
| Ministral 3 14B | 14B | 10.3GB | 17.3GB | 0.164GB | 256k | 12GB |
| Qwen3 14B | 14.8B | 10.8GB | 18.2GB | 0.164GB | 40k | 12GB |
| Phi-4 14B | 14.7B | 11GB | 18.4GB | 0.205GB | 16k | 12GB |
| gpt-oss 20B | 21B（アクティブ3.6B） | 13.4GB | 23.9GB | 0.025GB | 128k | 16GB |
| Devstral Small 2 24B | 24B | 16.3GB | 28.3GB | 0.164GB | 256k | 24GB |
| Mistral Small 3.1 24B | 24B | 16.3GB | 28.3GB | 0.164GB | 128k | 24GB |
| Gemma 4 26B-A4B (MoE) | 25.8B（アクティブ3.8B） | 16.4GB | 29.3GB | 0.02GB | 256k | 24GB |
| Qwen3.6 27B | 27.8B | 18GB | 31.8GB | 0.066GB | 256k | 24GB |
| Qwen3.8 27B | 27.8B | 18GB | 31.8GB | 0.066GB | 256k | 24GB |
| Gemma 3 27B | 27.4B | 18.1GB | 31.8GB | 0.082GB | 128k | 24GB |
| Muse Glimmer 30B | 29.8B | 18.7GB | 33.5GB | 0.013GB | 128k | 24GB |
| Qwen3 30B-A3B (MoE) | 30.5B（アクティブ3.3B） | 19.7GB | 34.9GB | 0.098GB | 40k | 24GB |
| Nemotron 3.5 Lightning 30B-A3B (MoE) | 31.6B（アクティブ3B） | 19.7GB | 35.4GB | 0.006GB | 256k | 24GB |
| GLM-4.7 Flash 30B-A3B (MoE) | 31.2B（アクティブ3B） | 19.8GB | 35.3GB | 0.054GB | 198k | 24GB |
| Granite 4.2 30B | 29.3B | 20.3GB | 34.9GB | 0.262GB | 128k | 24GB |
| Gemma 4 31B | 31.3B | 20.9GB | 36.5GB | 0.082GB | 256k | 24GB |
| Qwen3 32B | 32.8B | 22.4GB | 38.8GB | 0.262GB | 40k | 24GB |
| Qwen2.5 Coder 32B | 32.8B | 22.4GB | 38.8GB | 0.262GB | 32k | 24GB |
| DeepSeek-R1 Distill Qwen 32B | 32.8B | 22.4GB | 38.8GB | 0.262GB | 128k | 24GB |
| Qwen3.6 35B-A3B (MoE) | 36B（アクティブ3B） | 22.4GB | 40.4GB | 0.02GB | 256k | 24GB |
| Llama 3.3 70B | 70.6B | 45.8GB | 81GB | 0.328GB | 128k | 80GB |
| DeepSeek-R1 Distill Llama 70B | 70.6B | 45.8GB | 81GB | 0.328GB | 128k | 80GB |
| Nemotron 3.5 Bolt 74B-A9B (MoE) | 74.9B（アクティブ9B） | 45.9GB | 83.3GB | 0.008GB | 256k | 80GB |
| Qwen3-Coder-Next 80B-A3B (MoE) | 79.7B（アクティブ3B） | 48.9GB | 88.6GB | 0.025GB | 256k | 80GB |
| gpt-oss 120B | 117B（アクティブ5.1B） | 71.4GB | 129.8GB | 0.037GB | 128k | 80GB |
| Mistral Small 4 119B (MoE) | 119B（アクティブ6.5B） | 72.5GB | 131.9GB | 0.023GB | 256k | 80GB |
「最小のGPU」は、Q4_K_M・8kコンテキストでモデルを保持できる最小のメモリ容量です。容量ではなく製品名で見たい場合は全GPUの比較を、32kコンテキストでの数値と全体の適合表は8〜96GBに収まるモデル（英語）をご覧ください。
表の見方
読み込めるかどうかは、Q4の列で決まります。数値の大半を占めるのは重みで、パラメータ数に、選んだ量子化での1パラメータあたりのバイト数を掛けた値です。MoE（Mixture of Experts）モデルはすべてのエキスパートをメモリに置くので、1トークンごとに読むのがアクティブな一部だけでも、ここでは全体のサイズが効きます。
どれだけ長い会話を保持できるかは、コンテキストの列で決まります。コンテキストが1,000トークン増えるごとに必要なメモリで、同じサイズのモデルの間でもっとも差が出るところです。Nemotron 3.5 Lightning 30B-A3B (MoE)は1,000トークンあたり0.006GB、Llama 3.3 70Bは0.328GBです。2026年に公開されたモデルの多くは、大きくなるキャッシュを一部のレイヤーにしか持たないため、コストの小さい側に並びます。計算の詳細は新しいモデルほどコンテキストのコストが小さい理由（英語）にあります。
コンテキスト長は、GPUではなくモデルの制限です。メモリに余裕があっても伸ばせません。このサイトのどのページも、モデルカードに記載された以上のコンテキスト長を前提にしていません。
Qwenファミリー
- Qwen3.8 27B Q4で18GB · 24GBに収まる · コンテキスト長256k · Apache 2.0 · 2026年8月公開
Alibabaが2026年8月に公開した27Bの密（dense）モデルで、同年もっともダウンロードされたオープンモデルのひとつです。
- Qwen3.6 27B Q4で18GB · 24GBに収まる · コンテキスト長256k · Apache 2.0 · 2026年4月公開
Alibabaが2026年4月、Qwen3.6 35B-A3Bの数日後に公開した27Bの密（dense）モデルです。
このファミリーの新しいモデル：Qwen3.8 27B - Qwen3.6 35B-A3B (MoE) Q4で22.4GB · 24GBに収まる · コンテキスト長256k · Apache 2.0 · 2026年4月公開
Qwen3.6世代で最初のオープンウェイトモデル（2026年4月）で、256個のエキスパートのうち8個がルーティングされ、共有エキスパートが1個あり、1トークンごとに読むパラメータは3Bです。
- Qwen3.5 4B Q4で3.7GB · 8GBに収まる · コンテキスト長256k · Apache 2.0 · 2026年2月公開
AlibabaのQwen3.5ファミリー（2026年2月）のうち、小さい側のモデルです。
- Qwen3.5 9B Q4で6.7GB · 8GBに収まる · コンテキスト長256k · Apache 2.0 · 2026年2月公開
AlibabaのQwen3.5ファミリー（2026年2月）の9Bモデルで、同年もっともダウンロードされたオープンモデルのひとつです。
- Qwen3-Coder-Next 80B-A3B (MoE) Q4で48.9GB · 80GBに収まる · コンテキスト長256k · Apache 2.0 · 2026年1月公開 · コーディングモデル
Alibabaが2026年初めに公開したコーディングエージェント向けのモデルで、512個のエキスパートに80B分の重みを持ち、1トークンごとに読むのは3Bです。
- Qwen3 8B Q4で6.7GB · 8GBに収まる · コンテキスト長40k · Apache 2.0 · 2025年4月公開
AlibabaのQwen3世代（2025年4月）の8Bの密（dense）モデルです。
このファミリーの新しいモデル：Qwen3.5 9B - Qwen3 14B Q4で10.8GB · 12GBに収まる · コンテキスト長40k · Apache 2.0 · 2025年4月公開
Qwen3世代（2025年4月）の14Bの密（dense）モデルです。
- Qwen3 30B-A3B (MoE) Q4で19.7GB · 24GBに収まる · コンテキスト長40k · Apache 2.0 · 2025年4月公開
Qwen3世代（2025年4月）の小さいほうのMoEモデルで、重みは30B、1トークンごとに読むのは3.3Bです。
このファミリーの新しいモデル：Qwen3.6 35B-A3B (MoE) - Qwen3 32B Q4で22.4GB · 24GBに収まる · コンテキスト長40k · Apache 2.0 · 2025年4月公開
Qwen3世代（2025年4月）の密（dense）モデルのフラッグシップで、1年間、24GBのGPUはこのモデルを動かすために買われていました。
このファミリーの新しいモデル：Qwen3.8 27B - Qwen2.5 Coder 32B Q4で22.4GB · 24GBに収まる · コンテキスト長32k · Apache 2.0 · 2024年11月公開 · コーディングモデル
Alibabaが2024年11月に公開したコーディングモデルで、2025年のほとんどの期間、オープンなコーディングモデルの定番でした。
このファミリーの新しいモデル：Qwen3-Coder-Next 80B-A3B (MoE)
Gemmaファミリー
- Gemma 4 12B Q4で8.2GB · 12GBに収まる · コンテキスト長256k · Apache 2.0 · 2026年5月公開
Google DeepMindが2026年5月に公開したGemma 4 12B「Unified」です。
- Gemma 4 26B-A4B (MoE) Q4で16.4GB · 24GBに収まる · コンテキスト長256k · Apache 2.0 · 2026年3月公開
Gemma 4のMoEモデル（2026年春）で、128個のエキスパートのうち8個と共有エキスパート1個がアクティブになり、1トークンごとに読むパラメータは3.8Bです。
- Gemma 4 31B Q4で20.9GB · 24GBに収まる · コンテキスト長256k · Apache 2.0 · 2026年3月公開
Google DeepMindのGemma 4ファミリー（2026年春）の、密（dense）モデルのフラッグシップです。
- Gemma 3 12B Q4で8.7GB · 12GBに収まる · コンテキスト長128k · Gemma Terms of Use · 2025年3月公開
Googleが2025年3月に公開した12Bの視覚言語モデルです。
このファミリーの新しいモデル：Gemma 4 12B - Gemma 3 27B Q4で18.1GB · 24GBに収まる · コンテキスト長128k · Gemma Terms of Use · 2025年3月公開
Googleが2025年3月に公開したGemma 3最大の視覚言語モデルで、コンテキスト長は128k、1年間「24GBのGPUで何を動かすか」へのもっとも一般的な答えでした。
このファミリーの新しいモデル：Gemma 4 31B
Mistralファミリー
- Mistral Small 4 119B (MoE) Q4で72.5GB · 80GBに収まる · コンテキスト長256k · Apache 2.0 · 2026年3月公開
Mistralが2026年3月に公開した汎用モデルで、重みは119B、エキスパートは128個、1トークンごとに読むのは6.5Bと、Smallなのは名前だけです。
- Ministral 3 14B Q4で10.3GB · 12GBに収まる · コンテキスト長256k · Apache 2.0 · 2025年12月公開
MistralのMinistral 3ファミリー（2025年12月）で最大のモデルで、エッジやローカルでの運用向けに設計されています。
- Devstral Small 2 24B Q4で16.3GB · 24GBに収まる · コンテキスト長256k · Apache 2.0 · 2025年12月公開 · コーディングモデル
Mistralが2025年12月に公開したエージェント型のコーディングモデルです。
- Mistral Small 3.1 24B Q4で16.3GB · 24GBに収まる · コンテキスト長128k · Apache 2.0 · 2025年3月公開
Mistralが2025年3月に公開した24Bの汎用モデルで、テキストと画像に対応し、コンテキスト長は128k、ライセンスはApache 2.0です。
このファミリーの新しいモデル：Mistral Small 4 119B (MoE)
Llamaファミリー
- Llama 3.3 70B Q4で45.8GB · 80GBに収まる · コンテキスト長128k · Llama Community License · 2024年12月公開
Metaが2024年12月に公開した70Bのテキストモデルで、今も密（dense）70Bの基準であり、「このGPUで70Bは動く？」と聞くとき多くの人が思い浮かべているのも、このモデルです。
- Llama 3.2 3B Q4で3.4GB · 8GBに収まる · コンテキスト長128k · Llama Community License · 2024年9月公開
Metaが2024年9月に公開した小型のテキストモデルで、スマートフォンやノートPCで動かすために作られました。
- Llama 3.1 8B Q4で6.4GB · 8GBに収まる · コンテキスト長128k · Llama Community License · 2024年7月公開
Metaが2024年7月に公開した8Bのテキストモデルで、これまででもっとも多くファインチューニングされたオープンモデルだと思われます。
DeepSeekファミリー
- DeepSeek-R1 Distill Qwen 32B Q4で22.4GB · 24GBに収まる · コンテキスト長128k · MIT · 2025年1月公開 · 推論モデル
DeepSeek-R1の推論能力をQwen2.5 32Bに蒸留したモデルです（2025年1月）。
- DeepSeek-R1 Distill Llama 70B Q4で45.8GB · 80GBに収まる · コンテキスト長128k · MIT · 2025年1月公開 · 推論モデル
DeepSeek-R1の推論能力をLlama 3.3 70Bに蒸留したモデルです（2025年1月）。
gpt-ossファミリー
- gpt-oss 20B Q4で13.4GB · 16GBに収まる · コンテキスト長128k · Apache 2.0 · 2025年8月公開
OpenAIが2025年8月に公開した2つのオープンウェイトモデルのうち、小さいほうです。
- gpt-oss 120B Q4で71.4GB · 80GBに収まる · コンテキスト長128k · Apache 2.0 · 2025年8月公開
OpenAIが2025年8月に公開したオープンウェイトモデルのうち大きいほうで、重みは117B、1トークンごとに読むのは5.1B、80GBのGPU1枚に収まるようMXFP4で配布されています。
Graniteファミリー
- Granite 4.2 8B Q4で7.2GB · 8GBに収まる · コンテキスト長128k · Apache 2.0 · 2026年8月公開
IBMのGranite 4.2ファミリー（2026年8月）の中間サイズのモデルです。
- Granite 4.2 30B Q4で20.3GB · 24GBに収まる · コンテキスト長128k · Apache 2.0 · 2026年8月公開
IBMのGranite 4.2で最大のモデル（2026年8月）で、回答の前に思考する30Bの密（dense）モデルであり、モデルカードによると、エージェント作業のデータを増やした2回目のファインチューニングを受けています。
Nemotronファミリー
- Nemotron 3.5 Bolt 74B-A9B (MoE) Q4で45.9GB · 80GBに収まる · コンテキスト長256k · OpenMDW 1.1 · 2026年10月公開
NVIDIAが2026年10月に公開した74B-A9Bの視覚言語モデルで、エージェントの作業を1台のマシンで動かすために、Nemotron 3.5 Super VL 120B-A12Bを圧縮して作られました。
- Nemotron 3.5 Lightning 30B-A3B (MoE) Q4で19.7GB · 24GBに収まる · コンテキスト長256k · OpenMDW 1.1 · 2026年8月公開
NVIDIAが2026年8月に公開したオープンな30B-A3Bモデルで、学習データとレシピもあわせて公開されています。
GLMファミリー
- GLM-4.7 Flash 30B-A3B (MoE) Q4で19.8GB · 24GBに収まる · コンテキスト長198k · MIT · 2026年1月公開
Z.aiが2026年1月に公開した30B-A3BのMoEモデルで、GLM-4.7シリーズの軽量版です。
Museファミリー
- Muse Glimmer 30B Q4で18.7GB · 24GBに収まる · コンテキスト長128k · Apache 2.0 · 2026年8月公開
Metaが2026年8月に公開した30Bモデルで、Muse Sparkから蒸留され、一般向けハードウェアで動くエージェントのために作られています。
Phiファミリー
- Phi-4 14B Q4で11GB · 12GBに収まる · コンテキスト長16k · MIT · 2024年12月公開
Microsoftが2024年12月に公開した14Bモデルで、推論と数学を重視し、主に合成データで学習されています。
選び方のまとめ
聞いたことのあるモデルからではなく、手持ちのメモリから考えましょう。Q4の数値が余裕を持ってお使いのGPUに収まる中でいちばん大きな行を探し、そのコンテキストの列を、実際に扱う文書や会話の長さと照らし合わせます。2つのモデルが収まるなら、たいていは新しいほうが同じメモリでより長い会話を保持できます。使いたいモデルが手持ちのどのGPUにも収まらないなら、チェッカーが何を変えれば収まるかを具体的に示します。購入とレンタルの比較ツールは、使う時間を考えたとき、大きなGPUを買うのとレンタルするのとでどちらが得かを、正直に示します。
- アーキテクチャの値は、Hugging Faceにある各モデルのconfig.jsonとモデルカードから読み取っています。各モデルのページに、それぞれの出典へのリンクがあります。
- メモリ＝重み＋KVキャッシュ＋ランタイムのオーバーヘッド。計算式はLLM VRAM計算ツールのとおりです。スライディングウィンドウ、ハイブリッド構成、MLA（Multi-head Latent Attention）のモデルは、実際のキャッシュの持ち方どおりに数えています。
- コンテキストのコストは、FP16のKVキャッシュで、スライディングウィンドウがすべて埋まった後の値です。
- この表の数値と、すべての量子化・コンテキスト長での各モデルの数値は、オープンデータ（英語）としても公開しています。CC BY 4.0のCSVとJSONで、DOI付きでZenodoにアーカイブしています。