8.0BLlama 3 Youko 8Bの必要VRAM
量子化・コンテキスト長別の早見表
Llama 3 Youko 8B(rinna / 8.0B / 日本語特化)を ローカルで動かすのに必要なメモリを、重み＋KVキャッシュ＋作業領域の合計として計算しました。 諸元は配布元の公開データから取得しています。
あなたのPCで動くか
あなたのPC検出中…GPUを自動検出中…VRAM 8GBメモリ 16GBWindows
他のPCで試す
コンテキスト長8,192 トークン
あなたの環境(VRAM 8GB)での判定
- BQ4_K_M6.4GBぎりぎり載る
- BQ5_K_M7.2GBぎりぎり載る
- CQ6_K8.0GB動くが遅い
- CQ8_09.9GB動くが遅い
- DFP1617.3GBかなり遅い
S〜F のランクの意味はトップページに一覧があります。
他のモデルも一括で判定するならローカルLLM動作チェッカーへ。
必要メモリの早見表
| 量子化 | 4k トークン | 8k トークン |
|---|---|---|
| Q4_K_M4.9bit/重み | 5.9GB | 6.4GB |
| Q5_K_M5.72bit/重み | 6.7GB | 7.2GB |
| Q6_K6.57bit/重み | 7.5GB | 8.0GB |
| Q8_08.5bit/重み | 9.4GB | 9.9GB |
| FP1616bit/重み | 16.8GB | 17.3GB |
KVキャッシュは16bitで計算しています(8bitにすると、この表のうちKV分だけが半分になります)。
モデルの諸元
- パラメータ数: 8,030,261,248(8.0B)
- 層数: 32 / KVヘッド数: 8 / ヘッド次元: 128
- KVキャッシュ: 1トークンあたり 128KiB(16bit時)
- 最大コンテキスト長: 8,192 トークン
- ライセンス: llama3
日本語継続事前学習モデル。
出典: rinna/llama-3-youko-8b(パラメータ数)/ config.json(層数・KVヘッド数・ヘッド次元・最大コンテキスト長)。ライセンスや利用条件は配布元をご確認ください。
同じ用途の他のモデル
- Sarashina2.2 3B3.4B
- Llama-3-ELYZA-JP 8B8.0B
- Llama 3.1 Swallow 8B8.0B
- LLM-jp-3 13B13.7B