ローカルLLM動作チェッカー：このGPUで動く？

答えの出し方

GPUのメモリを分け合うものは3つあり、モデルそのものはそのうちの1つにすぎません。

重み：パラメータ数に、選んだ量子化での1パラメータあたりのバイト数を掛けたものです。いちばん大きな数字で、多くの人がすでに知っている数字でもあります。
KVキャッシュ：それまでの会話をメモリに保持しておくもので、モデルがトークンごとに会話を読み直さずに済みます。コンテキストに比例して大きくなり、長い文書では重みに匹敵することもあります。
ランタイムのオーバーヘッド：コンテキストとバッファに約0.5GB、さらにアクティベーション用に重みの約4%です。

合計は、お使いのGPUが扱えるメモリの95%と比べます。残りはデスクトップ表示と、きれいに詰め込めずに断片化するメモリのぶんです。MoE（Mixture of Experts）モデルはすべてのエキスパートを読み込むため、1トークンごとに読むのはアクティブなエキスパートだけでも、メモリには全パラメータ数がかかります。MoEモデルが大きいのに速いのはこのためです。

速度は別の問題で、別の計算式を使います。トークンを1つ生成するにはアクティブな重みをすべてメモリから読む必要があるため、トークン/秒はメモリ帯域幅をアクティブな重みのサイズで割り、効率70%を掛けた値になります。速度だけを計算するのが生成速度推定ツールで、メモリを3つの内訳に分けて示すのがVRAM計算ツールです。

「動かない」と出たとき

多くのツールは「動かない」で終わります。このツールは、何を変えれば動くかを、それぞれの数値つきで示します。直し方によって良し悪しがあるからです。

量子化を小さくするのが最初の手で、いちばん安上がりです。Q8はほぼ劣化なし、Q5とQ4は少し劣化し、Q3は劣化が大きいため、たいていは小さいモデルをQ4で使うほうが得です。
コンテキストを短くするのは、もともと使っていなかったのなら損はありません。使っていたなら、いちばんつらい削り方です。モデルの出来の良さではなく、モデルにできることそのものが変わるからです。
KVキャッシュをQ8に量子化すると、キャッシュがおよそ半分になります。見落とされがちな選択肢で、ぎりぎりか余裕があるかの分かれ目になることがよくあります。
より大きなGPUは、差が大きいときの正直な答えです。チェッカーは製品ラインの最上位ではなく、動くGPUのうち最も小さいものを示します。
別のモデルが正解のこともよくあります。よく選んだ小さいモデルを良い精度で使うほうが、大きいモデルを3ビットまで潰すより良い結果になります。

どれも気が進まないなら、GPUを持たないという選択肢もあります。月の使用時間が一定の線を下回るなら、実際に使う時間だけメモリを借りるほうが安くなります。その線がどこにあるかは、購入とレンタルの比較ツールに自分の数字を入れるとわかります。

GPUごとのページ

チェッカーにあるGPUには、それぞれ専用のページがあります（英語）。動くかどうかと速度つきの全モデル一覧、重みを読み込んだあとに残るコンテキストの量、そのGPUの限界、そして持つ価値があるかどうかの率直な評価をまとめています。

逆の方向から探すこともできます。全39種類のGPUの比較と、8〜96GBに収まるモデル（英語）です。

よくある質問

モデルがGPUに収まるかはどう判断する？

重み、KVキャッシュ、ランタイム自体のオーバーヘッドの合計がGPUのメモリに収まれば、そのモデルは動きます。このチェッカーは、選んだモデル・量子化・コンテキスト長についてこの3つを足し、合計をGPUのメモリの95%と比べます。残りはデスクトップ表示とメモリの断片化のぶんです。

モデルがVRAMに収まらないとどうなる？

動きはしますが、実用になりません。ランタイムははみ出したぶんをシステムRAMに置き、トークンごとにPCIeバス経由で転送します。これはGPUのメモリから読むより10〜50倍遅い処理です。収まっていれば40トークン/秒で生成するモデルが、収まらないと1〜2トークン/秒まで落ちることがあります。

RTX 4090でLlama 3.3 70Bは動く？

Q4_K_M・8kコンテキストでは動きません。必要量は約45.8GBで、4090のメモリは24GBなので、約23GB足りません。チェッカーは代わりに動く選択肢を示します。小さい量子化、短いコンテキスト、より大きなGPU、または4090で動く最大のモデルです。

Appleのユニファイドメモリにも対応している？

はい。macOSは標準でシステムRAMの約75%をGPUから使えるようにしているため、128GBのマシンは約96GBとして扱います。なお、これらの数値が表すのは生成速度です。Appleシリコンのプロンプト処理は、同等のNVIDIA製GPUよりかなり遅くなります。

この数値は実測値？

いいえ。このサイトのどのページも実測値だとは言っていません。メモリは公開されているアーキテクチャの値に明示した計算式を当てはめたもので、速度はメモリ帯域幅を1トークンあたりに読む重みで割り、効率70%を掛けたものです。これらはメモリ帯域幅から計算した上限（理論値）で、実測値ではありません。測定していない誤差の幅も示していません。数値が大きいほど、実際のランタイムはこの値を大きく下回ります。小さいモデルやMoEモデルのように1トークンあたりに読む重みが少ないと、この式が含めないコスト（カーネルの起動、エキスパートのルーティング、KVキャッシュの読み込み、サンプリング）が1トークンごとの時間に占める割合が大きくなるためです。メモリについては、Flash AttentionとページングされたKVキャッシュ（paged KV）により、実際の使用量はたいてい推定値を下回ります。

メモリ：重み＋KVキャッシュ＋ランタイムのオーバーヘッド。計算式はVRAM計算ツールに示しています。アーキテクチャの値は各モデルが公開しているconfigから取っています。
速度：70% × メモリ帯域幅 ÷ アクティブな重みのバイト数。シングルストリームで、プロンプト処理とバッチ処理は含みません。
GPUのメモリと帯域幅はメーカーの仕様値です。Appleのマシンはユニファイドメモリの75%で計算しています。macOSが標準でGPUに割り当てるRAMの割合です。
スライディングウィンドウ・アテンション、ハイブリッド構成（線形アテンション）、MLA（Multi-head Latent Attention）のモデルは、実際のキャッシュの持ち方どおりに計算しています。考慮していないもの：Flash AttentionとページングされたKVキャッシュ（実際の使用量を減らします）、1より大きいバッチサイズ（キャッシュがバッチの数だけ増えます）、画像・音声エンコーダの作業メモリ。

このGPUで動く？ローカルLLM動作チェッカー

答えの出し方

「動かない」と出たとき

GPUごとのページ

よくある質問

数字は、月に一度。