Flint 40B-A2.5B (MoE)
Flint 40B-A2.5B (MoE)をQ4_K_M・8kコンテキストで動かすには、24.8GBのVRAMが必要です（2026年11月3日に確認したconfig.jsonから計算）。収まる最小のGPUのメモリは32GBで、動くデスクトップ向けGPUのなかで最も速いRTX 5090では、生成速度は最大865トークン/秒です。
- パラメータ
- 39.8B（アクティブ2.5B）
- コンテキスト長
- 262,144トークン
- ライセンス
- Apache 2.0
- 公開
- 2026年10月
- config.jsonの確認日
- 2026年11月3日
Flint 40B-A2.5B (MoE)をローカルLLM動作チェッカーで開く
どのメモリ容量のGPUで動くか
必要量24.8GBを、メモリ容量ごとに比べます。モデルが使えるのはGPUのメモリの95%までで、色が付いているのは残りの容量か、足りない容量だけです。「ぎりぎり」は85%を超える場合で、長い会話に使える余裕はほとんどありません。
ほかの量子化やコンテキスト長、Q8のKVキャッシュはLLM VRAM計算ツールで試せます。
計算・2026年11月3日どのGPUを選ぶか
このサイトで扱うGPUのうち、Q4_K_M・8kコンテキストで読み込める最小のものはRTX 5090（32GB）です。必要量は24.8GBで、生成速度は推定865トークン/秒です。同じGPUでも32,768トークンのコンテキストまで余裕があるため（25.5GB）、このモデルのためにそれより上のGPUを買う理由はありません。
ほぼ劣化のないQ8_0なら、収まる最小のGPUはRTX A6000（48GB）で、必要量は44.6GBです。Appleシリコンでは、Mac mini M4 Proなら32,768トークンのコンテキストを含めて保持でき、生成速度は推定132トークン/秒です。ただしプロンプト処理はNVIDIAより遅く、長い文書ではその差がはっきり出ます。ユニファイドメモリのデスクトップでは、Ryzen AI Max+ 395が32,768トークンのコンテキストを25.5GBで保持でき、生成速度は推定124トークン/秒です。
GPU別の生成速度
| GPU | 動く？ | 推定トークン/秒 | 体感 | メモリ | メモリ帯域幅 |
|---|---|---|---|---|---|
| H100 SXM | 動く | ≤ 1,617 | 読むより速い | 80GB | 3,350GB/s |
| A100 | 動く | ≤ 984 | 読むより速い | 80GB | 2,039GB/s |
| RTX 5090 | 動く | ≤ 865 | 読むより速い | 32GB | 1,792GB/s |
| RTX PRO 6000 Blackwell | 動く | ≤ 865 | 読むより速い | 96GB | 1,792GB/s |
| RTX PRO 5000 Blackwell | 動く | ≤ 649 | 読むより速い | 48GB | 1,344GB/s |
| RTX 6000 Ada | 動く | ≤ 463 | 読むより速い | 48GB | 960GB/s |
| RTX PRO 4500 Blackwell | 動く | ≤ 433 | 読むより速い | 32GB | 896GB/s |
| L40S | 動く | ≤ 417 | 読むより速い | 48GB | 864GB/s |
| RTX A6000 | 動く | ≤ 371 | 読むより速い | 48GB | 768GB/s |
| Radeon AI PRO R9700 | 動く | ≤ 309 | 読むより速い | 32GB | 640GB/s |
| Arc Pro B70 | 動く | ≤ 294 | 読むより速い | 32GB | 608GB/s |
| RTX Spark | 動く | ≤ 145 | 読むより速い | 128GB（GPU用102GB） | 300GB/s |
| DGX Spark | 動く | ≤ 132 | 読むより速い | 128GB（GPU用126GB） | 273GB/s |
| Ryzen AI Max+ 395 | 動く | ≤ 124 | 読むより速い | 128GB（GPU用96GB） | 256GB/s |
| RTX 3090 | 動かない | - | 収まらない | 24GB | 936GB/s |
| RTX 4090 | 動かない | - | 収まらない | 24GB | 1,008GB/s |
| RX 7900 XTX | 動かない | - | 収まらない | 24GB | 960GB/s |
| RTX PRO 4000 Blackwell | 動かない | - | 収まらない | 24GB | 672GB/s |
| RTX PRO 4000 Blackwell SFF | 動かない | - | 収まらない | 24GB | 432GB/s |
| Arc Pro B60 | 動かない | - | 収まらない | 24GB | 456GB/s |
| RTX 5090 Laptop GPU | 動かない | - | 収まらない | 24GB | 896GB/s |
| RX 7900 XT | 動かない | - | 収まらない | 20GB | 800GB/s |
| RTX 4060 Ti | 動かない | - | 収まらない | 16GB | 288GB/s |
| RTX 5060 Ti | 動かない | - | 収まらない | 16GB | 448GB/s |
| RTX 5080 | 動かない | - | 収まらない | 16GB | 960GB/s |
| RTX 5070 Ti | 動かない | - | 収まらない | 16GB | 896GB/s |
| RTX 4080 SUPER | 動かない | - | 収まらない | 16GB | 736GB/s |
| RX 9070 XT | 動かない | - | 収まらない | 16GB | 640GB/s |
| RX 9060 XT | 動かない | - | 収まらない | 16GB | 320GB/s |
| RTX 3060 | 動かない | - | 収まらない | 12GB | 360GB/s |
| RTX 4070 | 動かない | - | 収まらない | 12GB | 504GB/s |
| RTX 5070 | 動かない | - | 収まらない | 12GB | 672GB/s |
| Arc B580 | 動かない | - | 収まらない | 12GB | 456GB/s |
シングルストリームの生成速度を、メモリ帯域幅と効率70%から求めた値です。プロンプト処理とバッチ処理は含みません。どれも上限（理論値）で、実測ではありません。Flint 40B-A2.5B (MoE)がQ4で1トークンごとに読む重みはわずか1.5GBです。これほど少ないと、計算式に含まれない1トークンごとのコストが実際の速度を大きく左右します。≤の付いた14個の数値は、実際のランタイムの速度が表示値をもっとも大きく下回る箇所です。ほかの量子化やAppleのハードウェアについては生成速度（トークン/秒）推定ツールを、モデルではなくハードウェアを選んでいる場合は全GPUの比較をご覧ください。
計算・2026年11月3日量子化・コンテキスト長別の必要メモリ
| 量子化 | 4,096トークン | 8,192トークン | 32,768トークン |
|---|---|---|---|
| Q8_0 | 44.5GB（48GBに収まる） | 44.6GB（48GBに収まる） | 45.4GB（48GBに収まる） |
| Q5_K_M | 30GB（32GBに収まる） | 30.2GB（32GBに収まる） | 30.9GB（48GBに収まる） |
| Q4_K_M | 24.7GB（32GBに収まる） | 24.8GB（32GBに収まる） | 25.5GB（32GBに収まる） |
重みはQ4で23.1GBです。コンテキストが1,000トークン増えるごとに、FP16のKVキャッシュが約0.029GB増えます（これとは別に、スライディングウィンドウ・アテンションのレイヤーが、ウィンドウがいっぱいになった時点で固定の0.037GBを保持します）。ほかの設定はLLM VRAM計算ツールで試せます。
モデルについて
Flint 40B-A2.5B (MoE)は39.8Bパラメータのモデルです。MoE（Mixture of Experts）構成で、1トークンごとのアクティブパラメータは2.5Bです。全49レイヤーのうち35レイヤーは、現在のトークンとその前の512トークンだけを対象とするスライディングウィンドウ・アテンション、14レイヤーはフルアテンションで、いずれもKVヘッドは4個（ヘッド次元128）です。Recursiveが2026年10月に公開した、ゼロから学習したコーディングエージェント向けのモデルで、256個のエキスパートに39.8B分の重みを持ち、1トークンごとに読むのは約2.5Bです。Recursiveは、コードベースの調査、バグ修正、機能の実装、テストの作成のために作り、NVIDIA向けとAppleシリコン向けの量子化版を用意しています。
テキストのみ コンテキスト長262,144トークン Apache 2.0 2026年10月公開 39.8B中2.5Bがアクティブ
思考モード：回答の前に思考します。モデルカードは、返された思考を会話の履歴に残し、難しい問題には出力トークンを32,768以上確保するよう求めています。
256個のエキスパートはすべてメモリに置かれ、1トークンごとのアクティブパラメータは出力ヘッドを含めて約2.5Bです。スライディングウィンドウのキャッシュに対応していないランタイムは、すべてのレイヤーを全長で保存するため、長いコンテキストではこの値よりはるかに多くのメモリを使います。
これはコーディングモデルです。コードの作成・編集や、リポジトリ全体を読むエージェント型のツール向けに調整されています。長いコンテキストがメモリに見合う働きをするのは、まさにこの用途です。
ネイティブのコンテキスト長は262,144トークンです。ライセンスはApache 2.0で、寛容な（permissive）ライセンスです。重みの公開は2026年10月です。
得意なこと
- 小さなモデル並みの速さで動くコーディングエージェント。1トークンごとに読むのは約2.5Bパラメータです。
- 長いセッション。49レイヤーのうち35レイヤーは直近の513トークンしか参照しないため、キャッシュが大きくなるのは14レイヤーだけです。
- RTX 5090のような32GBのGPU。Q4_K_Mで、長いコンテキストを持って収まります。
- unsloth、LM Studio、ggml-orgによるGGUF版と、Apache 2.0のライセンス
注意点
- コーディングエージェント向けの特化型モデルで、一般的な会話向けではありません。
- 新しいアーキテクチャです。RecursiveはまだTransformers用のコードを公開しておらず、自社のSGLangキットで動かしています。ダウンロードする前に、使うローカルのランタイムがFlintに対応しているか確認してください。
- 24GBのGPUには、Q4_K_Mでは収まりません。Q3_K_Mなら、品質と引き換えに収まります。
- モデルカードは、長い思考で回答が終わる前に出力の上限を使い切ることがあると注意しています。
- Recursiveは実績のまだない新しいラボです。頼る前に、自分のコードで試してください。
似たモデル
Q4_K_M・8kコンテキストでFlint 40B-A2.5B (MoE)とほぼ同じメモリを必要とするモデルです。手持ちのGPUで実際に比べる相手になるのは、これらのモデルです。「1kトークンあたり」の列はコンテキストが1,000トークン増えるごとのコストで、同じサイズのモデルの間でもっとも差が出るところです。
| モデル | サイズ | 必要量 | 1kトークンあたり | コンテキスト長 | 公開 |
|---|---|---|---|---|---|
| Flint 40B-A2.5B (MoE) | 39.8B（アクティブ2.5B） | 24.8GB | 0.029GB | 256k | 2026年10月 |
| Sage-A1.5 35B (MoE) | 36B（アクティブ3B） | 22.4GB | 0.02GB | 256k | 2026年10月 |
| Qwen3.6 35B-A3B (MoE) | 36B（アクティブ3B） | 22.4GB | 0.02GB | 256k | 2026年4月 |
| Qwen3 32B | 32.8B | 22.4GB | 0.262GB | 40k | 2025年4月 |
| DeepSeek-R1 Distill Qwen 32B | 32.8B | 22.4GB | 0.262GB | 128k | 2025年1月 |
全モデルの比較、8〜96GBに収まるモデル（英語）、クラウドGPUごとの最安の時間料金（英語）もご覧ください。
よくある質問
- Flint 40B-A2.5B (MoE)は24GBのGPUで動く？
- いいえ、24GBのGPUには収まりません。Q4_K_M・8kコンテキストで約24.8GBが必要です。収まる最小のクラスは32GBです。
- Flint 40B-A2.5B (MoE)をQ8で動かすには、VRAMはどれくらい必要？
- 8kコンテキストで約44.6GB、32kコンテキストでは45.4GBです。Q8はほぼ劣化がないので、収まるならQ8を使うのがおすすめです。
- Flint 40B-A2.5B (MoE)のコンテキスト長は？
- ネイティブで262,144トークンです。すべてをQ4_K_Mで保持すると約32.1GBが必要で、そのうち7.6GBがコンテキストの分です。
- Flint 40B-A2.5B (MoE)が長いコンテキストでも少ないメモリで済むのはなぜ？
- ほとんどのレイヤーが、大きくなっていくキャッシュを持たないからです。全49レイヤーのうち35レイヤーは、現在のトークンとその前の512トークンだけを対象とするスライディングウィンドウ・アテンション、14レイヤーはフルアテンションで、いずれもKVヘッドは4個（ヘッド次元128）です。32kトークンのコンテキストに必要なメモリは約1GBです。もし49レイヤーすべてが従来どおり全長のキャッシュを持っていたら、同じ会話に約3.3GBかかります。この節約は、ランタイムがスライディングウィンドウのキャッシュを実装していることが前提です。llama.cppとvLLMは実装していますが、実装していないビルドではずっと多くのメモリを使います。
- FlintとQwen3-Coder-Next、どちらを選ぶ？
- どちらもコーディングエージェント向けのMoEモデルで、1トークンごとに読むのは約2.5B〜3Bパラメータです。Flintの重みは39.8Bで、32GBのGPUにQ4_K_Mで収まります。Qwen3-Coder-Nextの重みは79.7Bで、80GBのGPUか大容量メモリのMacが必要です。Flintは回答の前に思考し、Qwen3-Coder-Nextは思考ブロックを出さずにそのまま回答します。数値は両方のページの表のとおりです。
- Flint 40B-A2.5B (MoE)はRTX 4090でどれくらいの速さ？
- Q4・8kコンテキストではRTX 4090に収まらないため、CPUへのオフロードになり、速度は激減します。より大きなGPUを使うか、ビット数のより少ない量子化を選んでください。
- アーキテクチャの値は、Hugging FaceのRecursiveSI/flintにあるconfig.jsonとモデルカードから読み取り、2026年11月3日に確認しています。このページの数値はすべてこれらの値から計算しています。このモデルのためにハードウェアを買う前に、元の値を確認してください。
- 推定値は、ほかに何も動いていないGPUで会話を1つだけ扱う前提です。同じGPUでデスクトップ環境も動かすと、0.5〜2GBが使われます。