7.6BDeepSeek-R1-Distill-Qwen 7Bの必要VRAM
量子化・コンテキスト長別の早見表
DeepSeek-R1-Distill-Qwen 7B(DeepSeek / 7.6B / 推論(思考型))を ローカルで動かすのに必要なメモリを、重み＋KVキャッシュ＋作業領域の合計として計算しました。 諸元は配布元の公開データから取得しています。
あなたのPCで動くか
あなたのPC検出中…GPUを自動検出中…VRAM 8GBメモリ 16GBWindows
他のPCで試す
コンテキスト長8,192 トークン
あなたの環境(VRAM 8GB)での判定
- AQ4_K_M5.6GB快適に動く
- AQ5_K_M6.4GB快適に動く
- BQ6_K7.2GBぎりぎり載る
- CQ8_09.0GB動くが遅い
- DFP1615.9GBかなり遅い
S〜F のランクの意味はトップページに一覧があります。
他のモデルも一括で判定するならローカルLLM動作チェッカーへ。
必要メモリの早見表
| 量子化 | 4k トークン | 8k トークン | 32k トークン | 128k トークン |
|---|---|---|---|---|
| Q4_K_M4.9bit/重み | 5.4GB | 5.6GB | 6.9GB | 12.2GB |
| Q5_K_M5.72bit/重み | 6.1GB | 6.4GB | 7.7GB | 12.9GB |
| Q6_K6.57bit/重み | 6.9GB | 7.2GB | 8.5GB | 13.7GB |
| Q8_08.5bit/重み | 8.7GB | 9.0GB | 10.3GB | 15.5GB |
| FP1616bit/重み | 15.7GB | 15.9GB | 17.2GB | 22.5GB |
KVキャッシュは16bitで計算しています(8bitにすると、この表のうちKV分だけが半分になります)。 なお DeepSeek-R1-Distill-Qwen 7B はスライディングウィンドウ注意(window 4096)を使うため、長いコンテキストでは実際のKVキャッシュはこの表より小さくなります。
モデルの諸元
- パラメータ数: 7,615,616,512(7.6B)
- 層数: 28 / KVヘッド数: 4 / ヘッド次元: 128
- KVキャッシュ: 1トークンあたり 56KiB(16bit時)
- 最大コンテキスト長: 131,072 トークン
- ライセンス: mit
思考過程を長く出すぶん、生成トークン数が多く KV キャッシュも伸びやすい。
出典: deepseek-ai/DeepSeek-R1-Distill-Qwen-7B(パラメータ数)/ config.json(層数・KVヘッド数・ヘッド次元・最大コンテキスト長)。ライセンスや利用条件は配布元をご確認ください。