13.7BLLM-jp-3 13Bの必要VRAM
量子化・コンテキスト長別の早見表
LLM-jp-3 13B(国立情報学研究所 LLM-jp / 13.7B / 日本語特化)を ローカルで動かすのに必要なメモリを、重み＋KVキャッシュ＋作業領域の合計として計算しました。 諸元は配布元の公開データから取得しています。
あなたのPCで動くか
あなたのPC検出中…GPUを自動検出中…VRAM 8GBメモリ 16GBWindows
他のPCで試す
コンテキスト長4,096 トークン
あなたの環境(VRAM 8GB)での判定
- DQ4_K_M11.9GBかなり遅い
- DQ5_K_M13.3GBかなり遅い
- DQ6_K14.7GBかなり遅い
- DQ8_018.0GBかなり遅い
- FFP1630.5GB載らない
S〜F のランクの意味はトップページに一覧があります。
他のモデルも一括で判定するならローカルLLM動作チェッカーへ。
必要メモリの早見表
| 量子化 | 4k トークン |
|---|---|
| Q4_K_M4.9bit/重み | 11.9GB |
| Q5_K_M5.72bit/重み | 13.3GB |
| Q6_K6.57bit/重み | 14.7GB |
| Q8_08.5bit/重み | 18.0GB |
| FP1616bit/重み | 30.5GB |
KVキャッシュは16bitで計算しています(8bitにすると、この表のうちKV分だけが半分になります)。
モデルの諸元
- パラメータ数: 13,707,924,480(13.7B)
- 層数: 40 / KVヘッド数: 40 / ヘッド次元: 128
- KVキャッシュ: 1トークンあたり 800KiB(16bit時)
- 最大コンテキスト長: 4,096 トークン
- ライセンス: apache-2.0
GQA を使わない構成のため KV キャッシュが大きい。
出典: llm-jp/llm-jp-3-13b-instruct(パラメータ数)/ config.json(層数・KVヘッド数・ヘッド次元・最大コンテキスト長)。ライセンスや利用条件は配布元をご確認ください。