1.7BSmolLM2 1.7Bの必要VRAM
量子化・コンテキスト長別の早見表
SmolLM2 1.7B(Hugging Face / 1.7B / 軽量・小型)を ローカルで動かすのに必要なメモリを、重み＋KVキャッシュ＋作業領域の合計として計算しました。 諸元は配布元の公開データから取得しています。
あなたのPCで動くか
あなたのPC検出中…GPUを自動検出中…VRAM 8GBメモリ 16GBWindows
他のPCで試す
コンテキスト長8,192 トークン
あなたの環境(VRAM 8GB)での判定
- SQ4_K_M3.1GB余裕で動く
- SQ5_K_M3.3GB余裕で動く
- SQ6_K3.5GB余裕で動く
- SQ8_03.9GB余裕で動く
- AFP165.4GB快適に動く
S〜F のランクの意味はトップページに一覧があります。
他のモデルも一括で判定するならローカルLLM動作チェッカーへ。
必要メモリの早見表
| 量子化 | 4k トークン | 8k トークン |
|---|---|---|
| Q4_K_M4.9bit/重み | 2.4GB | 3.1GB |
| Q5_K_M5.72bit/重み | 2.5GB | 3.3GB |
| Q6_K6.57bit/重み | 2.7GB | 3.5GB |
| Q8_08.5bit/重み | 3.1GB | 3.9GB |
| FP1616bit/重み | 4.7GB | 5.4GB |
KVキャッシュは16bitで計算しています(8bitにすると、この表のうちKV分だけが半分になります)。
モデルの諸元
- パラメータ数: 1,711,376,384(1.7B)
- 層数: 24 / KVヘッド数: 32 / ヘッド次元: 64
- KVキャッシュ: 1トークンあたり 192KiB(16bit時)
- 最大コンテキスト長: 8,192 トークン
- ライセンス: apache-2.0
出典: HuggingFaceTB/SmolLM2-1.7B-Instruct(パラメータ数)/ config.json(層数・KVヘッド数・ヘッド次元・最大コンテキスト長)。ライセンスや利用条件は配布元をご確認ください。
同じ用途の他のモデル
- Qwen3 0.6B0.8B
- Gemma 3 1B1.0B
- Qwen3 1.7B2.0B
- Llama 3.2 3B Instruct3.2B