70.6BLlama 3.1 Swallow 70Bの必要VRAM
量子化・コンテキスト長別の早見表
Llama 3.1 Swallow 70B(東京科学大学 ほか / 70.6B / 日本語特化)を ローカルで動かすのに必要なメモリを、重み＋KVキャッシュ＋作業領域の合計として計算しました。 諸元は配布元の公開データから取得しています。
あなたのPCで動くか
あなたのPC検出中…GPUを自動検出中…VRAM 8GBメモリ 16GBWindows
他のPCで試す
コンテキスト長8,192 トークン
あなたの環境(VRAM 8GB)での判定
- FQ4_K_M45.4GB載らない
- FQ5_K_M52.4GB載らない
- FQ6_K59.8GB載らない
- FQ8_076.4GB載らない
- FFP16141.1GB載らない
S〜F のランクの意味はトップページに一覧があります。
他のモデルも一括で判定するならローカルLLM動作チェッカーへ。
必要メモリの早見表
| 量子化 | 4k トークン | 8k トークン | 32k トークン | 128k トークン |
|---|---|---|---|---|
| Q4_K_M4.9bit/重み | 44.1GB | 45.4GB | 52.9GB | 82.9GB |
| Q5_K_M5.72bit/重み | 51.2GB | 52.4GB | 59.9GB | 89.9GB |
| Q6_K6.57bit/重み | 58.5GB | 59.8GB | 67.3GB | 97.3GB |
| Q8_08.5bit/重み | 75.2GB | 76.4GB | 83.9GB | 113.9GB |
| FP1616bit/重み | 139.8GB | 141.1GB | 148.6GB | 178.6GB |
KVキャッシュは16bitで計算しています(8bitにすると、この表のうちKV分だけが半分になります)。
モデルの諸元
- パラメータ数: 70,553,706,496(70.6B)
- 層数: 80 / KVヘッド数: 8 / ヘッド次元: 128
- KVキャッシュ: 1トークンあたり 320KiB(16bit時)
- 最大コンテキスト長: 131,072 トークン
- ライセンス: llama3.1gemma
日本語継続事前学習モデル。
出典: tokyotech-llm/Llama-3.1-Swallow-70B-Instruct-v0.3(パラメータ数)/ config.json(層数・KVヘッド数・ヘッド次元・最大コンテキスト長)。ライセンスや利用条件は配布元をご確認ください。