RTX A6000
RTX A6000は、このサイトで扱う34のオープンモデルのうち28モデルを、Q4_K_M・8kコンテキストで動かせます（2026年10月16日に計算）。最大のモデルはQwen3.6 35B-A3B (MoE)で、必要量は22.4GB、生成速度は最大309トークン/秒です。
- メモリ
- 48GB（VRAM）
- メモリ帯域幅
- 768GB/s
- ボード電力
- 300W
- 発売
- 2020年
- 入手方法
- ワークステーション向け
RTX A6000で動くモデルの一覧
RTX A6000（48GB）がGPUで使えるメモリは48GBで、メモリ帯域幅は768GB/sです。以下のモデルはすべて、多くの人が実際に使う設定であるQ4_K_M・8kコンテキストでの値です。5%の安全マージンを差し引くと、使えるのは45.6GBです。何が読み込めるかはメモリが、どれだけ速く応答するかは帯域幅が決めます。どちらも明示した計算式による推定値で、LLM VRAM計算ツールで計算の過程を確かめられます。
このGPUでは、45.6GB以下なら収まり、40.8GBを超えると「ぎりぎり」です。読み込めても会話に使える余裕はほとんどなく、同じ48GBでデスクトップ環境も動かしていると収まらなくなることがあります。トークン/秒は、メモリ帯域幅から求めたシングルストリームの推定値です。≤の付いた数値は上限で、実際のランタイムはこれを大きく下回ります。
計算・2026年10月16日実際に動かすならこのモデル
Muse Glimmer 30Bが、このGPUを最も有効に使えるモデルです。使うのは48GBのうち18.7GBで、生成速度は推定31トークン/秒（チャットなら快適）、コンテキストにはまだ131,072トークン分の余裕があります。
ベンチマークは引用していないため、選び方を説明します。モデルはサイズで比べ、MoE（Mixture of Experts）モデルは総パラメータとアクティブパラメータの幾何平均で数えます（経験則で、測定ではありません）。メモリに余裕を持って収まり、25トークン/秒以上で応答する最も大きいクラスを選び、その中で最も新しい汎用モデルを選んでいます。コーディングや推論に特化したモデルは上の一覧には載せていますが、標準ではおすすめしていません。
このGPUが保持できる最大のモデルはQwen3.6 35B-A3B (MoE)で、必要量は22.4GBです。131,072トークンのコンテキストを確保できます。MoEモデルで、トークンごとに読むパラメータは3Bだけなので、2つのうち速いのはこちらで、推定309トークン/秒です。その代わり、トークンごとにすべての重みを読む密（dense）モデルの深さはありません。
Q8_0でも約33.5GBで収まります。メモリが許すならQ8を選ぶ価値があります。Q4では精度が少し落ちますが、Q8はほぼ劣化がありません。
実際に収まるコンテキスト長
よく聞かれるのはモデルのサイズですが、実際に効いてくるのはコンテキストです。KVキャッシュは会話の長さに比例して大きくなるため、余裕を持って読み込めたモデルでも、長い文書の途中でメモリが尽きることがあります。48GBで使えるコンテキストは、重みを載せた残りの分だけです。同じモデルが動く2つのGPUでも、使い心地がまったく違うことがあるのはそのためです。以下は、Q4_K_Mの重みで、このGPUが保持できる最大のコンテキストです。
| モデル | 最大コンテキスト長（FP16のKV） | Q8のKVキャッシュ |
|---|---|---|
| Muse Glimmer 30B | 131,072トークン | 131,072トークン |
| Qwen3 32B | 40,960トークン・モデルの上限 | 40,960トークン・モデルの上限 |
| Gemma 4 31B | 131,072トークン | 131,072トークン |
| Granite 4.2 30B | 104,448トークン | 131,072トークン |
KVキャッシュをQ8に量子化すると、保持できる量はおよそ2倍になり、品質の低下はほとんどの人が気づかない程度です。このGPUでは、Granite 4.2 30Bが104,448トークンから131,072トークンになります。上限は128kトークン、またはそれより小さければモデル自身のネイティブのコンテキスト長で、後者は「モデルの上限」と表示しています。それを超える空きメモリは何の役にも立ちません。サイズの割にはるかに多くのコンテキストを保持できる行は、ハイブリッド構成、スライディングウィンドウ、MLA（Multi-head Latent Attention）のモデルで、標準的なTransformerのほんの一部しかキャッシュしません。計算の過程は各モデルのページにあります。
このGPUの限界
最初に届かなくなるモデルはLlama 3.3 70Bで、Q4_K_M・8kコンテキストで約45.8GBが必要です。使えるメモリは48GBです。注意が必要なほど近い値です。48GBそのものには収まっていて、このサイトが収まる判定に使う95%のラインを超えているだけです。ディスプレイをつないだGPUでは動かないものと考えてください。ディスプレイをつないでいないGPUで、コンテキストを短くすれば動きます。Q3_K_Mに下げると約37.7GBが必要で、収まりますが、Q3は品質の低下が大きいため、たいていは小さなモデルをQ4で動かすほうが良い選択です。残りをシステムRAMにオフロードすれば動きますが、10〜50倍遅くなります。モデルが動くのを確かめる方法であって、使う方法ではありません。
購入かレンタルか
48GBが何時間か必要で、速度は二の次なら借りましょう。48GBのGPUならどれにでも収まるモデルが収まります。買うのは中古で、しかも容量が目的の場合に限って意味があります。中古の3090を2枚使えば同じ48GBになり、それぞれのメモリの読み出しも速くなりますが、消費電力と騒音は増えます。
ワークステーション向けGPUは店頭価格ではなく見積もりで販売されるため、載せられる数字はひとつに決まりません。実際に検討している価格を、電気料金と実際の月間使用時間とあわせて購入とレンタルの比較ツールに入れてください。このGPUが負荷時に300Wを使うことは、ツールにすでに入っています。所有するほうが安くなる月がわかり、そうならない場合はそれがわかります。決め手になるのは、価格よりも月間の使用時間であることがはるかに多いです。
レンタルなら、RTX A6000は1時間$0.33から借りられます（RunPod Community・第三者のホスト）。マシンを自社で運用する事業者では$0.50です（Hyperstack）。オンデマンド・税抜きの料金で、2026年10月19日に確認しました。全事業者の料金はクラウドGPUの料金ガイド（英語）にあります。
率直な評価
レンタルの掲載情報でよく見かける48GBのGPUで、Ampere世代・768GB/sと、メモリの読み出しは3090より遅いです。
3090と同じチップに2倍のメモリを載せたGPUで、ECC付きの48GBを、300W・2スロットのカードに収めています。メモリは3090のGDDR6XではなくGDDR6なので、読み出しは768GB/s（3090は936GB/s）で、同じモデルなら3090のほうが約5分の1速く動きます。Ada世代の後継であるRTX 6000 Adaは、4分の1速く読み出します。レンタルなら48GBを得るよくある手段ですが、購入するなら、FP8にもFP4にも対応しない古いチップです。
得意なこと
- 2スロット・300WのカードにECC付きの48GBを載せ、容量はRTX 6000 AdaやL40Sと同じです。
- NVLinkに対応し、NVIDIAは2枚を組み合わせて96GBにするブリッジを販売しています。
- 成熟した世代です。すべてのランタイムが対応しており、新しいアーキテクチャにありがちな粗さもありません。
向かないこと
- 768GB/sで、3090は約5分の1、RTX 6000 Adaは4分の1速くメモリを読み出します。
- FP8にもFP4にも対応していません。Ampereはどちらよりも前の世代なので、FP8のチェックポイントはネイティブでは動かず、変換して使います。
- 2020年の発売で、このサイトで扱う48GBのGPUの中で最も古い世代です。
よくある誤解：レンタルの掲載情報では、名前に「6000」が付く3つのGPUが混同されています。RTX A6000はこのGPUで、Ampere世代・48GB・768GB/sです。RTX 6000 Adaは同じ48GBを4分の1速い960GB/sで読み出し、FP8が動きます。RTX PRO 6000 Blackwellは96GBです。価格を比べる前に、掲載がどれを指しているのか確認してください。
ほかの選択肢との比較
- RTX 6000 Ada：48GB・960GB/s・最適なモデルはMuse Glimmer 30B、約39トークン/秒。普通のPCに48GBを、300Wで、騒音なしに載せられるGPUです。
- RTX 3090：24GB・936GB/s・最適なモデルはMuse Glimmer 30B、約38トークン/秒。ローカルモデルのコストパフォーマンスの基準で、何年もその座にあるGPUです。
- L40S：48GB・864GB/s・最適なモデルはMuse Glimmer 30B、約35トークン/秒。購入するのではなく、レンタルの明細の1行として出会う48GBのGPUです。
全39種類のGPUはGPU一覧で並べて比較しています。同じ数値をモデルの側から見た表はモデルの適合表（英語）にあります。表を読む代わりに特定の組み合わせを確かめるなら、ローカルLLM動作チェッカーを使ってください。
よくある質問
- RTX A6000で70Bのモデルは動く？
- Q4_K_Mでは、1枚では動きません。Llama 3.3 70Bは8kコンテキストで約45.8GBが必要で、このGPUが使えるのは48GBです。選択肢は、より小さなモデルにするか、コンテキストをごく短くしてより強く量子化するか、2枚に分けるか、必要な時間だけより大きなGPUを借りるかです。
- RTX A6000で動かすのに最適なモデルは？
- Muse Glimmer 30Bです。Q4_K_M・8kコンテキストでは、使える48GBのうち約18.7GBを使い、生成速度は推定31トークン/秒で、体感は「チャットなら快適」です。Q8でも約33.5GBで収まるので、収まるならQ8を選ぶ価値があります。
- RTX A6000の生成速度は何トークン/秒？
- モデルのサイズ次第です。トークンを生成するたびに、アクティブな重みをすべてメモリから読み出すからです。768GB/s・効率70%で、このGPUは8BのモデルをQ4で推定116トークン/秒で生成します。保持できる最大のモデルのQwen3.6 35B-A3B (MoE)では約309トークン/秒です。人が文章を読む速さは毎秒5〜8語ほどなので、25を超えれば一瞬に感じます。116は768GB/sから求めた上限で、実測ではありません。数値が大きいほど、実際のランタイムはこれを大きく下回ります。
- ローカルLLMに48GBで足りる？
- このサイトで扱う34モデルのうち28モデルが、Q4_K_M・8kコンテキストで動きます。最大で36Bパラメータまでです。本当の試金石はモデルの一覧ではなくコンテキストです。このGPUでMuse Glimmer 30Bを動かすと、メモリが尽きるまでに約131,072トークンを保持できます。
- ローカルモデルにはRTX A6000とRTX 6000 Adaのどちら？
- どちらも使えるメモリはほぼ同じなので、動くモデルも同じです。速度では、RTX 6000 Adaのほうが速く、960GB/s対768GB/sです。チャットの速さを決めるのは帯域幅です。
- RTX A6000とRTX 3090のどちら？
- 同じAmpereのチップですが、A6000はECC付きの48GB、3090は24GBです。3090のほうがメモリの読み出しが速く（936GB/s対768GB/s）、両方に収まるモデルなら約5分の1速く生成します。A6000は、3090に収まらないモデルを2スロットのカードで動かせ、消費電力は300W（3090は350W）です。
- RTX A6000とRTX 6000 Adaのどちら？
- 同じ48GBなので同じモデルが収まり、消費電力もどちらも300Wです。RTX 6000 Adaはメモリを960GB/sで読み出し（A6000は768GB/s）、4分の1速く、Ada世代なのでFP8がネイティブで動きます。Ampere世代のA6000にはできません。速度が重要なら、選ぶべきは6000 Adaです。
- メモリ：重み（パラメータ数 × パラメータあたりのバイト数）＋KVキャッシュ（標準的なTransformerでは2 × レイヤー数 × KVヘッド数 × ヘッド次元 × コンテキスト長 × バイト数。スライディングウィンドウ、ハイブリッド構成、MLAのモデルは実際のキャッシュのとおりに計算）＋ランタイム0.5GB＋重みの4%。導出の詳細はLLM VRAM計算ツールにあります。
- 速度：70% × メモリ帯域幅 ÷ アクティブな重みのバイト数。シングルストリーム、バッチ処理なし、プロンプト処理は含みません。実測ではなく上限です。≤の付いた数値（28個中11個）は、トークンごとに読む重みがごく少ないため、実際のランタイムが数値を最も大きく下回る箇所です。詳しくは生成速度（トークン/秒）推定ツールをご覧ください。
- GPUの仕様（メーカーの数値）：48GB、768GB/s、300W。NVIDIAによるこのGPUの公式ページを参照してください。メモリ帯域幅の数値の出典はNVIDIAのRTX A6000のデータシートです。
- 時間料金：各事業者の料金ページまたは料金APIで、2026年10月19日に確認したもので、クラウドGPUの料金ガイド（英語）に載せているとおりです。電気代：GPUのボード電力をフルに使い、1kWhあたり$0.20で計算しています。PCのほかの部品は含みません。
- モデルのアーキテクチャの値は、各モデルが公開しているconfigから取っています。それぞれの値が何を変えるかは、LLMのセルフホストのガイド（英語）で説明しています。