Mistral Small 4 119B (MoE)
Mistral Small 4 119B (MoE)をQ4_K_M・8kコンテキストで動かすには、72.5GBのVRAMが必要です（2026年10月16日に確認したconfig.jsonから計算）。収まる最小のGPUのメモリは80GB（ぎりぎり）で、動くデスクトップ向けGPUのなかで最も速いRTX PRO 6000 Blackwellでは、生成速度は最大333トークン/秒です。
- パラメータ
- 119B（アクティブ6.5B）
- コンテキスト長
- 262,144トークン
- ライセンス
- Apache 2.0
- 公開
- 2026年3月
- config.jsonの確認日
- 2026年10月16日
Mistral Small 4 119B (MoE)をローカルLLM動作チェッカーで開く
どのメモリ容量のGPUで動くか
必要量72.5GBを、メモリ容量ごとに比べます。モデルが使えるのはGPUのメモリの95%までで、色が付いているのは残りの容量か、足りない容量だけです。「ぎりぎり」は85%を超える場合で、長い会話に使える余裕はほとんどありません。
ほかの量子化やコンテキスト長、Q8のKVキャッシュはLLM VRAM計算ツールで試せます。
計算・2026年10月16日どのGPUを選ぶか
このサイトで扱うGPUのうち、Q4_K_M・8kコンテキストで読み込める最小のものはA100（80GB）です。必要量は72.5GBで、生成速度は推定379トークン/秒です。ただしぎりぎりの収まり方で、会話に使える余裕はほとんど残りません。余裕を持って使いたい場合、つまり32,768トークンのコンテキストを確保しつつメモリ使用率を85%未満に抑えたい場合は、RTX PRO 6000 Blackwell（96GB）に上げましょう。その場合の必要量は73GBで、生成速度は約333トークン/秒です。
Q8_0では、ここに挙げたどのGPUにも1枚では収まりません。Appleシリコンでは、MacBook Pro M4 Maxなら32,768トークンのコンテキストを含めて保持でき、生成速度は推定101トークン/秒です。ただしプロンプト処理はNVIDIAより遅く、長い文書ではその差がはっきり出ます。ユニファイドメモリのデスクトップでは、Ryzen AI Max+ 395が32,768トークンのコンテキストを73GBで保持でき、生成速度は推定48トークン/秒です。
GPU別の生成速度
| GPU | 動く？ | 推定トークン/秒 | 体感 | メモリ | メモリ帯域幅 |
|---|---|---|---|---|---|
| H100 SXM | ぎりぎり | ≤ 622 | 読むより速い | 80GB | 3,350GB/s |
| A100 | ぎりぎり | ≤ 379 | 読むより速い | 80GB | 2,039GB/s |
| RTX PRO 6000 Blackwell | 動く | ≤ 333 | 読むより速い | 96GB | 1,792GB/s |
| RTX Spark | 動く | 56 | チャットなら快適 | 128GB（GPU用102GB） | 300GB/s |
| DGX Spark | 動く | 51 | チャットなら快適 | 128GB（GPU用126GB） | 273GB/s |
| Ryzen AI Max+ 395 | 動く | 48 | チャットなら快適 | 128GB（GPU用96GB） | 256GB/s |
| RTX 6000 Ada | 動かない | - | 収まらない | 48GB | 960GB/s |
| L40S | 動かない | - | 収まらない | 48GB | 864GB/s |
| RTX A6000 | 動かない | - | 収まらない | 48GB | 768GB/s |
| RTX PRO 5000 Blackwell | 動かない | - | 収まらない | 48GB | 1,344GB/s |
| RTX 5090 | 動かない | - | 収まらない | 32GB | 1,792GB/s |
| RTX PRO 4500 Blackwell | 動かない | - | 収まらない | 32GB | 896GB/s |
| Radeon AI PRO R9700 | 動かない | - | 収まらない | 32GB | 640GB/s |
| Arc Pro B70 | 動かない | - | 収まらない | 32GB | 608GB/s |
| RTX 3090 | 動かない | - | 収まらない | 24GB | 936GB/s |
| RTX 4090 | 動かない | - | 収まらない | 24GB | 1,008GB/s |
| RX 7900 XTX | 動かない | - | 収まらない | 24GB | 960GB/s |
| RTX PRO 4000 Blackwell | 動かない | - | 収まらない | 24GB | 672GB/s |
| RTX PRO 4000 Blackwell SFF | 動かない | - | 収まらない | 24GB | 432GB/s |
| Arc Pro B60 | 動かない | - | 収まらない | 24GB | 456GB/s |
| RX 7900 XT | 動かない | - | 収まらない | 20GB | 800GB/s |
| RTX 4060 Ti | 動かない | - | 収まらない | 16GB | 288GB/s |
| RTX 5060 Ti | 動かない | - | 収まらない | 16GB | 448GB/s |
| RTX 5080 | 動かない | - | 収まらない | 16GB | 960GB/s |
| RTX 5070 Ti | 動かない | - | 収まらない | 16GB | 896GB/s |
| RTX 4080 SUPER | 動かない | - | 収まらない | 16GB | 736GB/s |
| RX 9070 XT | 動かない | - | 収まらない | 16GB | 640GB/s |
| RX 9060 XT | 動かない | - | 収まらない | 16GB | 320GB/s |
| RTX 3060 | 動かない | - | 収まらない | 12GB | 360GB/s |
| RTX 4070 | 動かない | - | 収まらない | 12GB | 504GB/s |
| RTX 5070 | 動かない | - | 収まらない | 12GB | 672GB/s |
| Arc B580 | 動かない | - | 収まらない | 12GB | 456GB/s |
シングルストリームの生成速度を、メモリ帯域幅と効率70%から求めた値です。プロンプト処理とバッチ処理は含みません。どれも上限（理論値）で、実測ではありません。Mistral Small 4 119B (MoE)がQ4で1トークンごとに読む重みはわずか3.8GBです。これほど少ないと、計算式に含まれない1トークンごとのコストが実際の速度を大きく左右します。≤の付いた3個の数値は、実際のランタイムの速度が表示値をもっとも大きく下回る箇所です。ほかの量子化やAppleのハードウェアについては生成速度（トークン/秒）推定ツールを、モデルではなくハードウェアを選んでいる場合は全GPUの比較をご覧ください。
計算・2026年10月16日量子化・コンテキスト長別の必要メモリ
| 量子化 | 4,096トークン | 8,192トークン | 32,768トークン |
|---|---|---|---|
| Q8_0 | 131.8GB（複数GPUが必要） | 131.9GB（複数GPUが必要） | 132.4GB（複数GPUが必要） |
| Q5_K_M | 88.5GB（96GBに収まる） | 88.6GB（96GBに収まる） | 89.1GB（96GBに収まる） |
| Q4_K_M | 72.4GB（80GBに収まる） | 72.5GB（80GBに収まる） | 73GB（80GBに収まる） |
重みはQ4で69GBです。コンテキストが1,000トークン増えるごとに、FP16のKVキャッシュが約0.023GB増えます。ほかの設定はLLM VRAM計算ツールで試せます。
モデルについて
Mistral Small 4 119B (MoE)は119Bパラメータのモデルです。MoE（Mixture of Experts）構成で、1トークンごとのアクティブパラメータは6.5Bです。全36レイヤーがMLA（Multi-head Latent Attention）を使います。32個のヘッドそれぞれのキーとバリューを持つ代わりに、各レイヤーは1トークンあたり320個の値からなる圧縮ベクトルを1つだけキャッシュします。Mistralが2026年3月に公開した汎用モデルで、重みは119B、エキスパートは128個、1トークンごとに読むのは6.5Bと、Smallなのは名前だけです。それまでの3つのシリーズ、つまりInstruct、推論モデルのMagistral、コード向けのDevstralを1つのモデルにまとめています。
テキストと画像 コンテキスト長262,144トークン Apache 2.0 2026年3月公開 119B中6.5Bがアクティブ
思考モード：すぐに答えるモードと、思考の強さを設定できる思考モードを、リクエストごとに切り替えられます。
Smallなのは名前だけで、128個のエキスパートはすべてメモリに置かれます。MLAのキャッシュを実装していないランタイムでは、コンテキスト用のメモリが数倍必要になります。パラメータ数にはビジョンエンコーダが含まれます。テキスト専用のGGUFはわずかに小さくなります。
ネイティブのコンテキスト長は262,144トークンです。ライセンスはApache 2.0で、寛容な（permissive）ライセンスです。重みの公開は2026年3月です。Mistral Small 3.1 24Bの後継にあたります。
得意なこと
- 80GBのGPUで、チャット・推論・コーディングの3つのモデルを1つで済ませられること
- ほぼメモリを使わない長いコンテキスト。MLAは各レイヤーで小さなベクトルを1つだけキャッシュします。
- 128GBのMacで動かすこと。理由は大きなMoEモデルすべてに共通です。
- Apache 2.0ライセンス。MistralはNVFP4のチェックポイントと、投機的デコーディング用のヘッドも公開しています。
注意点
- 名前が誤解を招きます。先代のモデルは24GBのGPUで動きましたが、このモデルには80GBが必要です。
- MLAのキャッシュにはランタイムの対応が必要です。対応していないと、コンテキスト用のメモリは何倍にもなります。
- config.jsonでは100万トークン分の位置まで扱える設定になっていますが、Mistralのモデルカードは256kとしており、このサイトではその値を使っています。
似たモデル
Q4_K_M・8kコンテキストでMistral Small 4 119B (MoE)とほぼ同じメモリを必要とするモデルです。手持ちのGPUで実際に比べる相手になるのは、これらのモデルです。「1kトークンあたり」の列はコンテキストが1,000トークン増えるごとのコストで、同じサイズのモデルの間でもっとも差が出るところです。
| モデル | サイズ | 必要量 | 1kトークンあたり | コンテキスト長 | 公開 |
|---|---|---|---|---|---|
| Mistral Small 4 119B (MoE) | 119B（アクティブ6.5B） | 72.5GB | 0.023GB | 256k | 2026年3月 |
| gpt-oss 120B | 117B（アクティブ5.1B） | 71.4GB | 0.037GB | 128k | 2025年8月 |
| Qwen3-Coder-Next 80B-A3B (MoE) | 79.7B（アクティブ3B） | 48.9GB | 0.025GB | 256k | 2026年1月 |
| Nemotron 3.5 Bolt 74B-A9B (MoE) | 74.9B（アクティブ9B） | 45.9GB | 0.008GB | 256k | 2026年10月 |
| DeepSeek-R1 Distill Llama 70B | 70.6B | 45.8GB | 0.328GB | 128k | 2025年1月 |
全モデルの比較、8〜96GBに収まるモデル（英語）、クラウドGPUごとの最安の時間料金（英語）もご覧ください。
よくある質問
- Mistral Small 4 119B (MoE)は24GBのGPUで動く？
- いいえ、24GBのGPUには収まりません。Q4_K_M・8kコンテキストで約72.5GBが必要です。収まる最小のクラスは80GBです。
- Mistral Small 4 119B (MoE)をQ8で動かすには、VRAMはどれくらい必要？
- 8kコンテキストで約131.9GB、32kコンテキストでは132.4GBです。Q8はほぼ劣化がないので、収まるならQ8を使うのがおすすめです。
- Mistral Small 4 119B (MoE)のコンテキスト長は？
- ネイティブで262,144トークンです。すべてをQ4_K_Mで保持すると約78.3GBが必要で、そのうち6GBがコンテキストの分です。
- Mistral Small 4 119B (MoE)が長いコンテキストでも少ないメモリで済むのはなぜ？
- ほとんどのレイヤーが、大きくなっていくキャッシュを持たないからです。全36レイヤーがMLA（Multi-head Latent Attention）を使います。32個のヘッドそれぞれのキーとバリューを持つ代わりに、各レイヤーは1トークンあたり320個の値からなる圧縮ベクトルを1つだけキャッシュします。32kトークンのコンテキストに必要なメモリは約0.8GBです。もし36レイヤーすべてが従来どおり全長のキャッシュを持っていたら、同じ会話に約19.3GBかかります。
- Mistral Small 4は24GBのGPUで動く？
- 動きません。名前に反して119Bパラメータのモデルで、1トークンごとに使うのは6.5Bだけでも、すべてのエキスパートをメモリに置く必要があります。Q4では80GBのGPUか、大容量メモリのMacが必要です。24GBのGPUに収まるMistralのモデルは、Devstral Small 2とMistral Small 3.1です。
- Mistral Small 4 119B (MoE)はRTX 4090でどれくらいの速さ？
- Q4・8kコンテキストではRTX 4090に収まらないため、CPUへのオフロードになり、速度は激減します。より大きなGPUを使うか、ビット数のより少ない量子化を選んでください。
- アーキテクチャの値は、Hugging Faceのmistralai/Mistral-Small-4-119B-2603にあるconfig.jsonとモデルカードから読み取り、2026年10月16日に確認しています。このページの数値はすべてこれらの値から計算しています。このモデルのためにハードウェアを買う前に、元の値を確認してください。
- 推定値は、ほかに何も動いていないGPUで会話を1つだけ扱う前提です。同じGPUでデスクトップ環境も動かすと、0.5〜2GBが使われます。