LLM生成速度（トークン/秒）推定ツール

重み＝パラメータ数×選んだ量子化での1パラメータあたりのバイト数（FP16 / BF16 2.00、Q8_0 1.06、Q6_K 0.82、Q5_K_M 0.71、Q4_K_M 0.58、Q3_K_M 0.47。スケールと、量子化しない埋め込み層・出力層を含めた実効平均値）。KVキャッシュ＝2×レイヤー数×KVヘッド数×ヘッド次元×コンテキスト長×1値あたりのバイト数（標準的なTransformerの場合）。新しい3つの設計は、実際のキャッシュの持ち方どおりに計算しています。スライディングウィンドウ・アテンションのレイヤー（Gemma、gpt-oss）はウィンドウの長さで増えなくなり、ハイブリッド構成のモデル（Qwen3.5以降、Nemotron）は少数のフルアテンションのレイヤーだけでキャッシュが増え、残りのレイヤーは小さな固定の状態を持ちます。MLA（Multi-head Latent Attention）のモデル（Mistral Small 4、GLM Flash）は、レイヤーごとに圧縮したベクトルを1つキャッシュします。どれに当たるかは各モデルのページに記載しています。オーバーヘッド＝ランタイムのコンテキスト0.5GB＋重みの4%。「収まる」はGPUのメモリの95%以下という意味で、デスクトップ表示とランタイムのぶんを残しています。MoEモデルはすべてのエキスパートを読み込むため、全パラメータ数で計算します。アーキテクチャの数値は各モデルが公開しているconfigから取っており、出典はモデル一覧に記載しています。

トークンを1つ生成するにはアクティブな重みをすべて1回ずつ読むため、上限はメモリ帯域幅をアクティブな重みのバイト数で割った値になります。これに0.7を掛けるのは、カーネルのオーバーヘッド、KVキャッシュの読み込み、サンプリングのぶんとして明示した見込みで、実測した値ではなく仮定です。MoEモデルはアクティブなエキスパートだけを読むため、サイズの割に高速です。これらはメモリ帯域幅から計算した上限（理論値）で、実測値ではありません。測定していない誤差の幅も示していません。数値が大きいほど、実際のランタイムはこの値を大きく下回ります。小さいモデルやMoEモデルのように1トークンあたりに読む重みが少ないと、この式が含めないコスト（カーネルの起動、エキスパートのルーティング、KVキャッシュの読み込み、サンプリング）が1トークンごとの時間に占める割合が大きくなるためです。プロンプト処理は含みません。演算性能で決まり、1トークンあたりではずっと速いためです。バッチ処理も含みません。バッチ処理で増えるのはサーバーとしてのスループットで、1つの会話の速度ではないためです。モデルがGPUに収まらない場合、この数値には意味がなく、ツールはその旨を表示します。