Gemma 4 12B

よくある質問

Gemma 4 12Bは24GBのGPUで動く？

はい。Q4_K_M・8kコンテキストで約8.2GBが必要で、24GBのGPUに余裕を持って収まります。

Gemma 4 12BをQ8で動かすには、VRAMはどれくらい必要？

8kコンテキストで約14.2GB、32kコンテキストでは14.6GBです。Q8はほぼ劣化がないので、収まるならQ8を使うのがおすすめです。

Gemma 4 12Bのコンテキスト長は？

ネイティブで262,144トークンです。すべてをQ4_K_Mで保持すると約12.4GBが必要で、そのうち4.6GBがコンテキストの分です。

Gemma 4 12Bが長いコンテキストでも少ないメモリで済むのはなぜ？

ほとんどのレイヤーが、大きくなっていくキャッシュを持たないからです。全48レイヤーのうち40レイヤーはスライディングウィンドウ・アテンションで、直近の1,024トークンしか記憶しません（KVヘッド8個、ヘッド次元256）。残りの8レイヤーはグローバルレイヤーで、KVヘッドは1個（ヘッド次元512）です。32kトークンのコンテキストに必要なメモリは約0.9GBです。もし48レイヤーすべてが従来どおり全長のキャッシュを持っていたら、同じ会話に約12.9GBかかります。この節約は、ランタイムがスライディングウィンドウのキャッシュを実装していることが前提です。llama.cppとvLLMは実装していますが、実装していないビルドではずっと多くのメモリを使います。

Gemma 4 12Bはオープンソース？

重みは寛容な（permissive）ライセンスであるApache 2.0で公開されています。これはGemma 3からの変更点で、Gemma 3はGoogleが独自の条件を定めたGemma Terms of Useを使っていました。

Gemma 4 12BはRTX 4090でどれくらいの速さ？

Q4・シングルストリームでの上限は約101トークン/秒で、体感は「読むより速い」にあたります。これはGPUのメモリ帯域幅から求めた上限で、実測ではありません。この水準の数値では、計算式に含まれないコストが1トークンごとの時間に占める割合が大きくなるため、実際のランタイムはこれを大きく下回ります。