ローカルLLMの必要メモリとVRAM
モデルの重み・KVキャッシュ・実行時の作業領域から必要メモリを見積もる。MacとGPUの違い、4bitの計算例、長文や同時利用で増える分を整理します。
- 公開:
- 更新:
- 著者:
- Private AI Navi 編集部
- 読了目安:
- 約4分
広告について: 本ページには広告・アフィリエイトリンクが含まれます。掲載順位や評価は報酬額だけで決定せず、編集方針に基づいて作成しています。 広告掲載ポリシー
必要メモリは、モデルの重み、KVキャッシュ、実行時の作業領域を足して考えます。 ダウンロード容量と同じ空き容量があっても、そのまま動くとは限りません。
重みの容量を概算する
重みの理論上の容量 = 総パラメータ数 × 量子化ビット数 ÷ 8
たとえば80億パラメータを4bitで表す場合は、80億×4÷8で40億バイト、約4.0GB(10進)です。これは重みの理論値です。量子化の付加情報、異なる精度で持つ部分、ファイル形式などは含みません。実際には配布ファイルのサイズと実行ツールの表示を確認します。
| 総パラメータ数 | 4bitの理論値(10進GB) |
|---|---|
| 8B | 4.0GB |
| 14B | 7.0GB |
| 32B | 16.0GB |
| 70B | 35.0GB |
この表は搭載メモリの推奨値ではありません。GiB表示とも数値が異なります。MoEモデルでは、推論ごとに使うパラメータ数と、保持する総パラメータ数を区別してください。
重み以外に必要なもの
| 項目 | 増え方・確認点 |
|---|---|
| KVキャッシュ | モデル構造、コンテキスト長、キャッシュ精度、同時系列数で変わる |
| 実行時の作業領域 | ランタイム、バッチ、対応する最適化で変わる |
| OS・他のアプリ | 空き容量は搭載容量より少ない |
| 複数モデル | 埋め込みやOCR等も同時に使うか |
長い文書を入れたり、同時利用を増やしたりすると、短い会話の試験とは必要量が変わります。単に「4bitだからこのPCで十分」と決めず、実際のコンテキストと同時利用数で試します。
GPUとMacの考え方
GPUを使うPCでは、モデル全体をVRAMへ置くか、一部をシステムメモリへ置くかで速度が変わります。必ずディスクへ自動退避できるとは限らず、容量不足のエラーになる構成もあります。
Apple SiliconではCPUとGPUがメモリを共有しますが、搭載メモリをすべてモデルへ割り当てられるわけではありません。OS、アプリ、ランタイムの制約を含めて判断します。LM Studioの要件(外部サイト・新しいタブで開きます)も利用環境に合わせて確認してください。
Ollamaで実際の配置を見る
ollama ps
公式FAQ(外部サイト・新しいタブで開きます)は、Processorの表示でGPU・CPUへの配置を確認する方法を案内しています。ロード直後だけでなく、目標の長さの入力を処理したときの容量と待ち時間を確認します。
- 小さなモデルと短い入力で起動する。
- 実際に使う入力長へ増やす。
- 他のアプリを動かした状態でも試す。
- 同時利用を必要とする場合は並列時も確認する。
- エラーと応答時間を記録する。
足りないときの順番
まず必要以上のコンテキストや同時利用を減らし、小さいモデルや別の量子化で品質を確認します。品質が落ちて仕事を完了できなくなるなら、容量だけを減らしても解決しません。
規模別の判断はモデルサイズと必要スペック、購入やAPIへの切り替えはローカルとAPIの費用比較を参照してください。設定を確認してからOllamaのローカル限定利用やLM Studioの文書利用へ進めます。
本記事の掲載内容の最終確認日: 2026-11-08(0日前)
出典
- #VRAM
- #メモリ
- #量子化
- #ローカルLLM
本記事の内容は執筆時点の公開情報にもとづきます。料金・機能・ポリシーは変更される場合があります。 誤りを見つけた場合はお問い合わせからご連絡ください。確認のうえ修正し、更新日を明記します。