116.8BMoEgpt-oss 120Bの必要VRAM
量子化・コンテキスト長別の早見表
gpt-oss 120B(OpenAI / 116.8B / 汎用・チャット)を ローカルで動かすのに必要なメモリを、重み＋KVキャッシュ＋作業領域の合計として計算しました。 諸元は配布元の公開データから取得しています。
あなたのPCで動くか
あなたのPC検出中…GPUを自動検出中…VRAM 8GBメモリ 16GBWindows
他のPCで試す
コンテキスト長8,192 トークン
あなたの環境(VRAM 8GB)での判定
- FQ4_K_M71.1GB載らない
- FQ5_K_M82.8GB載らない
- FQ6_K95.0GB載らない
- FQ8_0122.5GB載らない
- FFP16229.7GB載らない
S〜F のランクの意味はトップページに一覧があります。
他のモデルも一括で判定するならローカルLLM動作チェッカーへ。
必要メモリの早見表
| 量子化 | 4k トークン | 8k トークン | 32k トークン | 128k トークン |
|---|---|---|---|---|
| Q4_K_M4.9bit/重み | 70.9GB | 71.1GB | 72.8GB | 79.6GB |
| Q5_K_M5.72bit/重み | 82.6GB | 82.8GB | 84.5GB | 91.3GB |
| Q6_K6.57bit/重み | 94.7GB | 95.0GB | 96.7GB | 103.4GB |
| Q8_08.5bit/重み | 122.3GB | 122.5GB | 124.2GB | 131.0GB |
| FP1616bit/重み | 229.4GB | 229.7GB | 231.3GB | 238.1GB |
KVキャッシュは16bitで計算しています(8bitにすると、この表のうちKV分だけが半分になります)。 なお gpt-oss 120B はスライディングウィンドウ注意(window 128)を使うため、長いコンテキストでは実際のKVキャッシュはこの表より小さくなります。
モデルの諸元
- パラメータ数: 116,829,156,672(116.8B)
- 層数: 36 / KVヘッド数: 8 / ヘッド次元: 64
- KVキャッシュ: 1トークンあたり 72KiB(16bit時)
- 最大コンテキスト長: 131,072 トークン
- MoE: 128エキスパート中 4個を使用(重みは全エキスパート分メモリに載せる必要があります)
- 公式配布の量子化形式: mxfp4
- ライセンス: apache-2.0
公式配布の重みが MXFP4(約4.25bit/重み)。MoE で計算量は小さいが、重みは全部メモリに載せる必要がある。
出典: openai/gpt-oss-120b(パラメータ数)/ config.json(層数・KVヘッド数・ヘッド次元・最大コンテキスト長)。ライセンスや利用条件は配布元をご確認ください。