Gemma 3 12B
Gemma 3 12BをQ4_K_M・8kコンテキストで動かすには、8.7GBのVRAMが必要です（2026年10月16日に確認したconfig.jsonから計算）。収まる最小のGPUのメモリは12GBで、動くデスクトップ向けGPUのなかで最も速いRTX 5090では、生成速度は最大177トークン/秒です。
- パラメータ
- 12.2B
- コンテキスト長
- 131,072トークン
- ライセンス
- Gemma Terms of Use
- 公開
- 2025年3月
- config.jsonの確認日
- 2026年10月16日
どのメモリ容量のGPUで動くか
必要量8.7GBを、メモリ容量ごとに比べます。モデルが使えるのはGPUのメモリの95%までで、色が付いているのは残りの容量か、足りない容量だけです。「ぎりぎり」は85%を超える場合で、長い会話に使える余裕はほとんどありません。
ほかの量子化やコンテキスト長、Q8のKVキャッシュはLLM VRAM計算ツールで試せます。
計算・2026年10月16日どのGPUを選ぶか
このサイトで扱うGPUのうち、Q4_K_M・8kコンテキストで読み込める最小のものはRTX 3060（12GB）です。必要量は8.7GBで、生成速度は推定36トークン/秒です。余裕を持って使いたい場合、つまり32,768トークンのコンテキストを確保しつつメモリ使用率を85%未満に抑えたい場合は、RTX 4060 Ti（16GB）に上げましょう。その場合の必要量は10.3GBで、生成速度は約28トークン/秒です。
ほぼ劣化のないQ8_0なら、収まる最小のGPUはRTX 4060 Ti（16GB）で、必要量は14.8GBです。Appleシリコンでは、Mac mini M4 Proなら32,768トークンのコンテキストを含めて保持でき、生成速度は推定27トークン/秒です。ただしプロンプト処理はNVIDIAより遅く、長い文書ではその差がはっきり出ます。ユニファイドメモリのデスクトップでは、Ryzen AI Max+ 395が32,768トークンのコンテキストを10.3GBで保持でき、生成速度は推定25トークン/秒です。
GPU別の生成速度
| GPU | 動く？ | 推定トークン/秒 | 体感 | メモリ | メモリ帯域幅 |
|---|---|---|---|---|---|
| H100 SXM | 動く | ≤ 331 | 読むより速い | 80GB | 3,350GB/s |
| A100 | 動く | ≤ 202 | 読むより速い | 80GB | 2,039GB/s |
| RTX 5090 | 動く | ≤ 177 | 読むより速い | 32GB | 1,792GB/s |
| RTX PRO 6000 Blackwell | 動く | ≤ 177 | 読むより速い | 96GB | 1,792GB/s |
| RTX PRO 5000 Blackwell | 動く | ≤ 133 | 読むより速い | 48GB | 1,344GB/s |
| RTX 4090 | 動く | 100 | 読むより速い | 24GB | 1,008GB/s |
| RTX 5080 | 動く | 95 | 読むより速い | 16GB | 960GB/s |
| RX 7900 XTX | 動く | 95 | 読むより速い | 24GB | 960GB/s |
| RTX 6000 Ada | 動く | 95 | 読むより速い | 48GB | 960GB/s |
| RTX 3090 | 動く | 93 | 読むより速い | 24GB | 936GB/s |
| RTX 5070 Ti | 動く | 89 | 読むより速い | 16GB | 896GB/s |
| RTX PRO 4500 Blackwell | 動く | 89 | 読むより速い | 32GB | 896GB/s |
| L40S | 動く | 85 | 読むより速い | 48GB | 864GB/s |
| RX 7900 XT | 動く | 79 | 読むより速い | 20GB | 800GB/s |
| RTX A6000 | 動く | 76 | 読むより速い | 48GB | 768GB/s |
| RTX 4080 SUPER | 動く | 73 | 読むより速い | 16GB | 736GB/s |
| RTX 5070 | 動く | 66 | 読むより速い | 12GB | 672GB/s |
| RTX PRO 4000 Blackwell | 動く | 66 | 読むより速い | 24GB | 672GB/s |
| RX 9070 XT | 動く | 63 | 読むより速い | 16GB | 640GB/s |
| Radeon AI PRO R9700 | 動く | 63 | 読むより速い | 32GB | 640GB/s |
| Arc Pro B70 | 動く | 60 | 読むより速い | 32GB | 608GB/s |
| RTX 4070 | 動く | 50 | チャットなら快適 | 12GB | 504GB/s |
| Arc B580 | 動く | 45 | チャットなら快適 | 12GB | 456GB/s |
| Arc Pro B60 | 動く | 45 | チャットなら快適 | 24GB | 456GB/s |
| RTX 5060 Ti | 動く | 44 | チャットなら快適 | 16GB | 448GB/s |
| RTX PRO 4000 Blackwell SFF | 動く | 43 | チャットなら快適 | 24GB | 432GB/s |
| RTX 3060 | 動く | 36 | チャットなら快適 | 12GB | 360GB/s |
| RX 9060 XT | 動く | 32 | チャットなら快適 | 16GB | 320GB/s |
| RTX Spark | 動く | 30 | チャットなら快適 | 128GB（GPU用102GB） | 300GB/s |
| RTX 4060 Ti | 動く | 28 | チャットなら快適 | 16GB | 288GB/s |
| DGX Spark | 動く | 27 | チャットなら快適 | 128GB（GPU用126GB） | 273GB/s |
| Ryzen AI Max+ 395 | 動く | 25 | チャットなら快適 | 128GB（GPU用96GB） | 256GB/s |
シングルストリームの生成速度を、メモリ帯域幅と効率70%から求めた値です。プロンプト処理とバッチ処理は含みません。どれも上限（理論値）で、実測ではありません。Gemma 3 12BがQ4で1トークンごとに読む重みはわずか7.1GBです。これほど少ないと、計算式に含まれない1トークンごとのコストが実際の速度を大きく左右します。≤の付いた5個の数値は、実際のランタイムの速度が表示値をもっとも大きく下回る箇所です。ほかの量子化やAppleのハードウェアについては生成速度（トークン/秒）推定ツールを、モデルではなくハードウェアを選んでいる場合は全GPUの比較をご覧ください。
計算・2026年10月16日量子化・コンテキスト長別の必要メモリ
| 量子化 | 4,096トークン | 8,192トークン | 32,768トークン |
|---|---|---|---|
| Q8_0 | 14.6GB（16GBに収まる） | 14.8GB（16GBに収まる） | 16.4GB（24GBに収まる） |
| Q5_K_M | 10.1GB（12GBに収まる） | 10.4GB（12GBに収まる） | 12GB（16GBに収まる） |
| Q4_K_M | 8.5GB（12GBに収まる） | 8.7GB（12GBに収まる） | 10.3GB（12GBに収まる） |
Gemma 4 12Bは、このファミリーの新しいモデルです。同じ設定で約8.2GBが必要です。
重みはQ4で7.1GBです。コンテキストが1,000トークン増えるごとに、FP16のKVキャッシュが約0.066GB増えます（これとは別に、スライディングウィンドウ・アテンションのレイヤーが、ウィンドウがいっぱいになった時点で固定の0.336GBを保持します）。ほかの設定はLLM VRAM計算ツールで試せます。
モデルについて
Gemma 3 12Bは12.2Bパラメータのモデルです。全48レイヤーで、KVヘッドは8個（ヘッド次元256）です。6レイヤーのうち5つはスライディングウィンドウ・アテンションで直近の1,024トークンしか記憶しないため、長いコンテキストを担うのは8個のグローバルレイヤーです。Googleが2025年3月に公開した12Bの視覚言語モデルです。ローカルレイヤー5つに対してグローバルレイヤー1つという構成を導入し、Gemma 4もそれを受け継ぎました。そのため、2025年のモデルとしては長いコンテキストでのメモリ使用量が控えめです。
テキストと画像 コンテキスト長131,072トークン Gemma Terms of Use 2025年3月公開
思考モード：なし。そのまま回答します。
スライディングウィンドウのキャッシュに対応していないランタイムは、すべてのレイヤーを全長で保存するため、長いコンテキストではこの値よりはるかに多くのメモリを使います。
ネイティブのコンテキスト長は131,072トークンです。ライセンスはGemma Terms of Useで、固有の条件を定めた独自ライセンスです。商用利用の前に読んでください。重みの公開は2025年3月です。
得意なこと
- 12GBのGPUでの画像理解。量子化版やファインチューニング版のエコシステムも成熟しています。
- 多言語の作業。このファミリーは140以上の言語に対応しています。
注意点
- ライセンスはApacheではなくGemma Terms of Useで、禁止用途のポリシーを含む独自ライセンスです。Gemma 4ではこのライセンスをやめています。
- 後継のGemma 4 12Bは音声と動画にも対応し、同じコンテキストに必要なメモリも少なくなっています。
似たモデル
Q4_K_M・8kコンテキストでGemma 3 12Bとほぼ同じメモリを必要とするモデルです。手持ちのGPUで実際に比べる相手になるのは、これらのモデルです。「1kトークンあたり」の列はコンテキストが1,000トークン増えるごとのコストで、同じサイズのモデルの間でもっとも差が出るところです。
| モデル | サイズ | 必要量 | 1kトークンあたり | コンテキスト長 | 公開 |
|---|---|---|---|---|---|
| Gemma 3 12B | 12.2B | 8.7GB | 0.066GB | 128k | 2025年3月 |
| Gemma 4 12B | 12B | 8.2GB | 0.016GB | 256k | 2026年5月 |
| Ministral 3 14B | 14B | 10.3GB | 0.164GB | 256k | 2025年12月 |
| Granite 4.2 8B | 8.8B | 7.2GB | 0.164GB | 128k | 2026年8月 |
| Qwen3 14B | 14.8B | 10.8GB | 0.164GB | 40k | 2025年4月 |
全モデルの比較、8〜96GBに収まるモデル（英語）、クラウドGPUごとの最安の時間料金（英語）もご覧ください。
よくある質問
- Gemma 3 12Bは24GBのGPUで動く？
- はい。Q4_K_M・8kコンテキストで約8.7GBが必要で、24GBのGPUに余裕を持って収まります。
- Gemma 3 12BをQ8で動かすには、VRAMはどれくらい必要？
- 8kコンテキストで約14.8GB、32kコンテキストでは16.4GBです。Q8はほぼ劣化がないので、収まるならQ8を使うのがおすすめです。
- Gemma 3 12Bのコンテキスト長は？
- ネイティブで131,072トークンです。すべてをQ4_K_Mで保持すると約16.8GBが必要で、そのうち8.9GBがコンテキストの分です。
- Gemma 3 12Bが長いコンテキストでも少ないメモリで済むのはなぜ？
- ほとんどのレイヤーが、大きくなっていくキャッシュを持たないからです。全48レイヤーで、KVヘッドは8個（ヘッド次元256）です。6レイヤーのうち5つはスライディングウィンドウ・アテンションで直近の1,024トークンしか記憶しないため、長いコンテキストを担うのは8個のグローバルレイヤーです。32kトークンのコンテキストに必要なメモリは約2.5GBです。もし48レイヤーすべてが従来どおり全長のキャッシュを持っていたら、同じ会話に約12.9GBかかります。この節約は、ランタイムがスライディングウィンドウのキャッシュを実装していることが前提です。llama.cppとvLLMは実装していますが、実装していないビルドではずっと多くのメモリを使います。
- Gemma 3 12Bより新しいモデルはある？
- あります。Gemma 4 12Bで、2026年5月に公開されました。同じQ4_K_M・8kコンテキストの設定で、このモデルの8.7GBに対して約8.2GBが必要です。
- Gemma 3 12BはRTX 4090でどれくらいの速さ？
- Q4・シングルストリームでの上限は約100トークン/秒で、体感は「読むより速い」にあたります。これはGPUのメモリ帯域幅から求めた上限で、実測ではありません。
- アーキテクチャの値は、Hugging Faceのgoogle/gemma-3-12b-itにあるconfig.jsonから読み取り、2026年10月16日に確認しています（このリポジトリはライセンスへの同意が必要です。モデルカードは誰でも見られますが、ファイルは利用条件に同意すると開けます）。このページの数値はすべてこれらの値から計算しています。このモデルのためにハードウェアを買う前に、元の値を確認してください。
- 推定値は、ほかに何も動いていないGPUで会話を1つだけ扱う前提です。同じGPUでデスクトップ環境も動かすと、0.5〜2GBが使われます。