ローカルLLMに必要なメモリとVRAMの考え方
モデルサイズと量子化から必要メモリを見積もる方法、VRAMに収まらない場合に何が起きるかを解説します。
- 公開:
- 著者:
- Private AI Navi 編集部
- 読了目安:
- 約3分
広告について: 本ページには広告・アフィリエイトリンクが含まれます。掲載順位や評価は報酬額だけで決定せず、編集方針に基づいて作成しています。 広告掲載ポリシー
見積もりの考え方
必要なメモリは、大きく2つの合計です。
- モデルの重み: パラメータ数 × 1パラメータあたりのバイト数
- コンテキスト（KVキャッシュ）: 扱うトークン数に比例して増える
量子化しない場合（16bit）は1パラメータ2バイト、4bit量子化ならおおよそ0.5バイト前後です。実際には量子化方式によって多少前後します。
目安の表
4bit量子化を前提とした、重みだけの概算です。
| モデル規模 | 重みの概算 | 実際に確保したい容量 | | --- | --- | --- | | 7〜8B | 約4〜5GB | 8GB以上 | | 13〜14B | 約7〜9GB | 12GB以上 | | 24〜32B | 約14〜20GB | 24GB以上 | | 70B | 約35〜42GB | 48GB以上 |
VRAMに収まらないとどうなるか
GPUのVRAMに載りきらない分は、システムメモリやディスクへ退避されます。この場合、生成速度が桁で落ちることがあります。
「動くけれど遅すぎて使えない」という状態を避けるには、重み＋コンテキスト分に余裕を持たせるのが実務的です。
Macの場合
Apple Silicon はCPUとGPUがメモリを共有するため、搭載メモリがそのまま上限になります。ただしOSやアプリの使用分は差し引く必要があります。詳しくはMacで動く無検閲LLMで解説しています。
足りない場合の選択肢
- より小さいモデル、より強い量子化を選ぶ
- コンテキスト長を短くする
- GPUを借りて自前でホスティングする
| サービス | プライバシー方式 | 提供形態 | 総合スコア | 情報の状態 |
|---|---|---|---|---|
| RunPod | 未確認 | gpu-cloud | 12.9/100 | 一部検証・1日前 |
| Vast.ai | 未確認 | gpu-cloud | 15/100 | 一部検証・0日前 |
| Lambda | 未確認 | gpu-cloud | 10/100 | 一部検証・1日前 |
スコアの算出方法は編集方針に記載しています。料金・機能は変更される場合があります。
よくある質問
量子化すると品質は落ちますか？
一般に、量子化のビット数を下げるほど出力品質への影響が出やすくなります。実用上は4bit程度が品質とサイズのバランスとして広く使われていますが、用途によって許容度が変わります。
CPUだけでも動きますか？
動作しますが、生成速度は大きく落ちます。小さいモデルであれば実用になる場面もあります。
本記事の掲載内容の最終確認日: 2026-07-27（8日前）
- #VRAM
- #メモリ
- #量子化
- #ローカルLLM
本記事の内容は執筆時点の公開情報にもとづきます。料金・機能・ポリシーは変更される場合があります。 誤りを見つけた場合はお問い合わせからご連絡ください。確認のうえ修正し、更新日を明記します。