32.8BQwen2.5-Coder 32Bの必要VRAM
量子化・コンテキスト長別の早見表
Qwen2.5-Coder 32B(Alibaba (Qwen) / 32.8B / コーディング)を ローカルで動かすのに必要なメモリを、重み＋KVキャッシュ＋作業領域の合計として計算しました。 諸元は配布元の公開データから取得しています。
あなたのPCで動くか
あなたのPC検出中…GPUを自動検出中…VRAM 8GBメモリ 16GBWindows
他のPCで試す
コンテキスト長8,192 トークン
あなたの環境(VRAM 8GB)での判定
- DQ4_K_M22.2GBかなり遅い
- FQ5_K_M25.5GB載らない
- FQ6_K28.9GB載らない
- FQ8_036.6GB載らない
- FFP1666.7GB載らない
S〜F のランクの意味はトップページに一覧があります。
他のモデルも一括で判定するならローカルLLM動作チェッカーへ。
必要メモリの早見表
| 量子化 | 4k トークン | 8k トークン | 32k トークン |
|---|---|---|---|
| Q4_K_M4.9bit/重み | 21.2GB | 22.2GB | 28.2GB |
| Q5_K_M5.72bit/重み | 24.5GB | 25.5GB | 31.5GB |
| Q6_K6.57bit/重み | 27.9GB | 28.9GB | 34.9GB |
| Q8_08.5bit/重み | 35.6GB | 36.6GB | 42.6GB |
| FP1616bit/重み | 65.7GB | 66.7GB | 72.7GB |
KVキャッシュは16bitで計算しています(8bitにすると、この表のうちKV分だけが半分になります)。 なお Qwen2.5-Coder 32B はスライディングウィンドウ注意(window 131072)を使うため、長いコンテキストでは実際のKVキャッシュはこの表より小さくなります。
モデルの諸元
- パラメータ数: 32,763,876,352(32.8B)
- 層数: 64 / KVヘッド数: 8 / ヘッド次元: 128
- KVキャッシュ: 1トークンあたり 256KiB(16bit時)
- 最大コンテキスト長: 32,768 トークン
- ライセンス: apache-2.0
出典: Qwen/Qwen2.5-Coder-32B-Instruct(パラメータ数)/ config.json(層数・KVヘッド数・ヘッド次元・最大コンテキスト長)。ライセンスや利用条件は配布元をご確認ください。
同じ用途の他のモデル
- Qwen2.5-Coder 7B7.6B
- Qwen2.5-Coder 14B14.8B