モデルサイズ別の必要スペックの考え方
7B・32B・70Bなどの規模からハードウェアを検討する手順。総パラメータと稼働数、量子化、長文・同時利用を分け、メモリと品質の確認先を示します。
- 公開:
- 更新:
- 著者:
- Private AI Navi 編集部
- 読了目安:
- 約3分
広告について: 本ページには広告・アフィリエイトリンクが含まれます。掲載順位や評価は報酬額だけで決定せず、編集方針に基づいて作成しています。 広告掲載ポリシー
7B・32B・70Bというラベルは、機材を選ぶための情報の一つです。 同じ規模でも構造、量子化、ランタイム、入力長で必要な容量や速度は変わります。モデルの大きさだけで性能の優劣を決めないようにします。
先に用途を固定する
| 用途 | 検証すること |
|---|---|
| 短い文章の要約・整形 | 数字や条件の保持、形式の順守 |
| 文書への質問 | 文書にない答えを作らないか、検索と引用 |
| コード補助 | 対象言語、テストの成功率、ツール呼び出し |
| 複数人で利用 | 同時利用時の待ち時間と容量 |
小さいモデルで足りるかは、この作業で判断します。「規模が上がれば必ず品質が上がる」と一般化せず、候補ごとに同じ入力で比較します。
配布物から見る順番
- denseかMoEか、総パラメータ数はいくつか。
- 利用する量子化ファイルはどれか、実サイズはいくつか。
- 使うランタイムと機材に対応しているか。
- 必要なコンテキストと同時利用数はいくつか。
- ライセンスと用途の条件を満たすか。
稼働パラメータ数が小さいMoEでも、その数だけの重みを保存すればよいとは限りません。モデル紹介の数字をそのままメモリの計算へ入れないでください。
容量の具体的な計算は別に行う
必要メモリとVRAMに、4bitの重みの理論値と、KVキャッシュ・作業領域を加える方法をまとめています。規模別の容量表はそこへ集約しています。
機材に載るかを確認したら、目標の入力長で回答まで試します。重みがメモリに収まっても、必要な待ち時間を満たさない場合があります。GPUへの配置はOllamaのollama ps等で確認できます。
ローカルで満たせない場合
APIを使う場合はデータの送信・保持条件、自分でGPUを借りる場合はホストの管理権限と運用を確認します。借りたマシンへ入れたことは、基盤事業者から処理内容を隠せることと同じではありません。
費用はローカルとAPIの比較、APIの条件はZDR対応API比較を参照してください。機材購入の前に、候補モデルで小さな評価を終えると判断しやすくなります。
本記事の掲載内容の最終確認日: 2026-11-08（0日前）
出典
- #モデルサイズ
- #スペック
- #ローカルLLM
本記事の内容は執筆時点の公開情報にもとづきます。料金・機能・ポリシーは変更される場合があります。 誤りを見つけた場合はお問い合わせからご連絡ください。確認のうえ修正し、更新日を明記します。