H100 SXM
H100 SXMは、このサイトで扱う34のオープンモデルのうち34モデルを、Q4_K_M・8kコンテキストで動かせます（2026年10月16日に計算）。最大のモデルはMistral Small 4 119B (MoE)で、必要量は72.5GB、生成速度は最大622トークン/秒です。
- メモリ
- 80GB（VRAM）
- メモリ帯域幅
- 3,350GB/s
- ボード電力
- 700W
- 発売
- 2022年
- 入手方法
- 購入ではなくレンタル
H100 SXMで動くモデルの一覧
H100 SXM 80GBがGPUで使えるメモリは80GBで、メモリ帯域幅は3,350GB/sです。以下のモデルはすべて、多くの人が実際に使う設定であるQ4_K_M・8kコンテキストでの値です。5%の安全マージンを差し引くと、使えるのは76GBです。何が読み込めるかはメモリが、どれだけ速く応答するかは帯域幅が決めます。どちらも明示した計算式による推定値で、LLM VRAM計算ツールで計算の過程を確かめられます。
このGPUでは、76GB以下なら収まり、68GBを超えると「ぎりぎり」です。読み込めても会話に使える余裕はほとんどなく、同じ80GBでデスクトップ環境も動かしていると収まらなくなることがあります。トークン/秒は、メモリ帯域幅から求めたシングルストリームの推定値です。≤の付いた数値は上限で、実際のランタイムはこれを大きく下回ります。
計算・2026年10月16日実際に動かすならこのモデル
Llama 3.3 70Bが、このGPUを最も有効に使えるモデルです。使うのは80GBのうち45.8GBで、生成速度は推定57トークン/秒（チャットなら快適）、コンテキストにはまだ100,352トークン分の余裕があります。
ベンチマークは引用していないため、選び方を説明します。モデルはサイズで比べ、MoE（Mixture of Experts）モデルは総パラメータとアクティブパラメータの幾何平均で数えます（経験則で、測定ではありません）。メモリに余裕を持って収まり、25トークン/秒以上で応答する最も大きいクラスを選び、その中で最も新しい汎用モデルを選んでいます。コーディングや推論に特化したモデルは上の一覧には載せていますが、標準ではおすすめしていません。
このGPUが保持できる最大のモデルはMistral Small 4 119B (MoE)で、必要量は72.5GBです。131,072トークンのコンテキストを確保できます。メモリの91%を使っていてもそれだけ確保できるのは、アテンションの設計上、トークンあたりのキャッシュがごく小さいからです。MoEモデルで、トークンごとに読むパラメータは6.5Bだけなので、2つのうち速いのはこちらで、推定622トークン/秒です。その代わり、トークンごとにすべての重みを読む密（dense）モデルの深さはありません。
パラメータ数より品質を重視するなら、Muse Glimmer 30BがQ8_0で約33.5GBに収まります。Q8はほぼ劣化がなく、Q8の小さなモデルは、Q3に押し込んだ大きなモデルに勝つことがよくあります。
実際に収まるコンテキスト長
よく聞かれるのはモデルのサイズですが、実際に効いてくるのはコンテキストです。KVキャッシュは会話の長さに比例して大きくなるため、余裕を持って読み込めたモデルでも、長い文書の途中でメモリが尽きることがあります。80GBで使えるコンテキストは、重みを載せた残りの分だけです。同じモデルが動く2つのGPUでも、使い心地がまったく違うことがあるのはそのためです。以下は、Q4_K_Mの重みで、このGPUが保持できる最大のコンテキストです。
| モデル | 最大コンテキスト長（FP16のKV） | Q8のKVキャッシュ |
|---|---|---|
| Llama 3.3 70B | 100,352トークン | 131,072トークン |
| Qwen3 32B | 40,960トークン・モデルの上限 | 40,960トークン・モデルの上限 |
| Gemma 4 31B | 131,072トークン | 131,072トークン |
| Muse Glimmer 30B | 131,072トークン | 131,072トークン |
KVキャッシュをQ8に量子化すると、保持できる量はおよそ2倍になり、品質の低下はほとんどの人が気づかない程度です。このGPUでは、Llama 3.3 70Bが100,352トークンから131,072トークンになります。上限は128kトークン、またはそれより小さければモデル自身のネイティブのコンテキスト長で、後者は「モデルの上限」と表示しています。それを超える空きメモリは何の役にも立ちません。サイズの割にはるかに多くのコンテキストを保持できる行は、ハイブリッド構成、スライディングウィンドウ、MLA（Multi-head Latent Attention）のモデルで、標準的なTransformerのほんの一部しかキャッシュしません。計算の過程は各モデルのページにあります。
このGPUの限界
この一覧に届かないモデルはありません。扱っているモデルはすべてQ4_K_M・8kコンテキストで収まるため、突き当たる限界はパラメータ数ではなく、コンテキスト長とバッチサイズです。
購入かレンタルか
借りるもので、それも多数のユーザーに同時に提供するときか、本当に一刻を争う処理を動かすときだけです。1人で使うなら、A100や48GBのGPUで、ずっと安く同じ体験が得られます。
検討すべき購入価格はなく、あるのは時間料金だけで、それも事業者や週によって異なります。実際に検討している価格を、電気料金と実際の月間使用時間とあわせて購入とレンタルの比較ツールに入れてください。このGPUが負荷時に700Wを使うことは、ツールにすでに入っています。所有するほうが安くなる月がわかり、そうならない場合はそれがわかります。決め手になるのは、価格よりも月間の使用時間であることがはるかに多いです。
レンタルなら、H100 SXMは1時間$2.69から借りられます（RunPod Community・第三者のホスト）。マシンを自社で運用する事業者では$3.49です（Jarvislabs）。オンデマンド・税抜きの料金で、2026年10月19日に確認しました。全事業者の料金はクラウドGPUの料金ガイド（英語）にあります。
率直な評価
ここに挙げた中で群を抜いて速いメモリを持ち、ほとんどの場合、1人で使うには過剰なGPUです。
3,350GB/sのH100 SXMは、このページのどのGPUよりも速くテキストを生成し、同じモデルなら4090のおよそ3と3分の1倍の速さです。この速さは多数の同時ユーザーで分け合う前提で設計されているため、推論サービス事業者の基盤になっている一方、1つの会話に使うのが正解になることはまずありません。1人でチャットするだけなら、借りた性能の大半は使われずに終わります。
得意なこと
- 3,350GB/sのHBM3を備え、70Bのモデルでも読むより速く応答します。
- FP8に対応しています。新しいランタイムはFP8を使って、メモリを減らし、スループットを上げます。
- バッチ処理が重要な場面では、このリストのほかのGPUは遠く及びません。
向かないこと
- 700WでSXMのベースボードに載せる形式のため、PCIeスロットにはそもそも挿せません。
- 借りるには最も高いクラスで、その速さを1人のユーザーでは使い切れません。
- はるかに高価なのに、80GBのメモリはRTX PRO 6000より少なくなっています。
よくある誤解：SXM版は、自分で取り付けられるカードではありません。OEMのベースボードに載せるものなので、「H100を買う」とはサーバーを買うことを意味します。PCIe版もありますが、はっきりと遅くなります。
ほかの選択肢との比較
- A100：80GB・2,039GB/s・最適なモデルはLlama 3.3 70B、約35トークン/秒。データセンターで長く使われてきた主力のGPUで、肝心なところは今も速く、安く借りられます。
- RTX PRO 6000 Blackwell：96GB・1,792GB/s・最適なモデルはLlama 3.3 70B、約31トークン/秒。96GBと5090クラスの帯域幅を、1枚で備えたGPUです。
- L40S：48GB・864GB/s・最適なモデルはMuse Glimmer 30B、約35トークン/秒。購入するのではなく、レンタルの明細の1行として出会う48GBのGPUです。
全39種類のGPUはGPU一覧で並べて比較しています。同じ数値をモデルの側から見た表はモデルの適合表（英語）にあります。表を読む代わりに特定の組み合わせを確かめるなら、ローカルLLM動作チェッカーを使ってください。
よくある質問
- H100 SXMで70Bのモデルは動く？
- 動きます。Llama 3.3 70BはQ4_K_M・8kコンテキストで約45.8GBが必要で、このGPUが使える80GBに収まります。生成速度は推定57トークン/秒で、体感は「チャットなら快適」です。
- H100 SXMで動かすのに最適なモデルは？
- Llama 3.3 70Bです。Q4_K_M・8kコンテキストでは、使える80GBのうち約45.8GBを使い、生成速度は推定57トークン/秒で、体感は「チャットなら快適」です。サイズより品質を重視するなら、Muse Glimmer 30BがQ8で約33.5GBに収まります。
- H100 SXMの生成速度は何トークン/秒？
- モデルのサイズ次第です。トークンを生成するたびに、アクティブな重みをすべてメモリから読み出すからです。3,350GB/s・効率70%で、このGPUは8BのモデルをQ4で推定505トークン/秒で生成します。保持できる最大のモデルのMistral Small 4 119B (MoE)では約622トークン/秒です。人が文章を読む速さは毎秒5〜8語ほどなので、25を超えれば一瞬に感じます。505は3,350GB/sから求めた上限で、実測ではありません。数値が大きいほど、実際のランタイムはこれを大きく下回ります。
- ローカルLLMに80GBで足りる？
- このサイトで扱う34モデルのうち34モデルが、Q4_K_M・8kコンテキストで動きます。最大で119Bパラメータまでです。本当の試金石はモデルの一覧ではなくコンテキストです。このGPUでLlama 3.3 70Bを動かすと、メモリが尽きるまでに約100,352トークンを保持できます。
- ローカルモデルにはH100 SXMとA100のどちら？
- どちらも使えるメモリはほぼ同じなので、動くモデルも同じです。速度では、このGPUのほうが速く、3,350GB/s対2,039GB/sです。チャットの速さを決めるのは帯域幅です。
- ワークステーション用にH100は買える？
- SXM版は買えません。H100と言えば、たいていはSXM版を指します。PCIeスロットではなくOEMのベースボードに載せるため、買うにはそれを中心に組まれたサーバーを、1枚あたり700Wで買うことになります。PCIe版もありますが、はっきりと遅くなります。
- H100は1人で使うには過剰？
- ほとんどの場合、過剰です。3,350GB/sは多数の同時リクエストで分け合う前提で設計されており、1つの会話では使い切れません。1人で大きなモデルとチャットするなら、A100や48GBのGPUで、ごく近い体験がレンタル料金のほんの一部で得られます。
- メモリ：重み（パラメータ数 × パラメータあたりのバイト数）＋KVキャッシュ（標準的なTransformerでは2 × レイヤー数 × KVヘッド数 × ヘッド次元 × コンテキスト長 × バイト数。スライディングウィンドウ、ハイブリッド構成、MLAのモデルは実際のキャッシュのとおりに計算）＋ランタイム0.5GB＋重みの4%。導出の詳細はLLM VRAM計算ツールにあります。
- 速度：70% × メモリ帯域幅 ÷ アクティブな重みのバイト数。シングルストリーム、バッチ処理なし、プロンプト処理は含みません。実測ではなく上限です。≤の付いた数値（34個中32個）は、トークンごとに読む重みがごく少ないため、実際のランタイムが数値を最も大きく下回る箇所です。詳しくは生成速度（トークン/秒）推定ツールをご覧ください。
- GPUの仕様（メーカーの数値）：80GB、3,350GB/s、700W。NVIDIAによるこのGPUの公式ページを参照してください。
- 時間料金：各事業者の料金ページまたは料金APIで、2026年10月19日に確認したもので、クラウドGPUの料金ガイド（英語）に載せているとおりです。
- モデルのアーキテクチャの値は、各モデルが公開しているconfigから取っています。それぞれの値が何を変えるかは、LLMのセルフホストのガイド（英語）で説明しています。