ローカルLLMに必要なVRAMは何GB？モデルの大きさから計算する

本記事にはアフィリエイト広告を含みます。掲載している数値はモデルの配布ページと公式ドキュメントの実測値に基づいており、広告の有無によって内容を変えることはありません。

モデルの大きさ別の必要容量

重みを載せるのに必要な容量です。1重みあたりのビット数は llama.cpp 公式ドキュメントの実測値を使っています。

モデル	Q4_K_M	Q5_K_M	Q8_0	F16
7B	4.3 GB	5.0 GB	7.4 GB	14.0 GB
14B	8.6 GB	10.0 GB	14.9 GB	28.0 GB
32B	19.6 GB	22.8 GB	34.0 GB	64.0 GB
70B	42.8 GB	49.9 GB	74.4 GB	140.0 GB

量子化ごとのビット数

形式	1重みあたり	備考
F16	16.00 bit	元の精度のままです。品質は最も高いぶん、必要な容量も最大になります。
Q8_0	8.50 bit	F16の約半分の容量で、品質の低下はごくわずかとされています。
Q6_K	6.56 bit	品質を保ちたい場合の実用的な選択肢です。
Q5_K_M	5.70 bit	容量と品質のつり合いを取りたいときに使われます。
Q4_K_M	4.89 bit	最も広く使われている量子化です。配布されているファイルもこれが多くなっています。
Q4_K_S	4.67 bit	Q4_K_Mよりわずかに小さくなります。
Q3_K_M	4.00 bit	容量を優先する場合の選択肢です。品質の低下が分かるようになってきます。
Q2_K	3.16 bit	最小級です。品質の低下が大きいため、動かすことを優先する場合に限られます。

重み以外にも要る

モデルの重みのほかに、やり取りの履歴を保持する領域（KVキャッシュ）と、実行環境そのものが使う分が要ります。KVキャッシュは扱う文の長さに比例して増え、長い文脈では数GBに達することがあります。

デスクトップの画面描画にもVRAMが使われます。モデル本体ぴったりの容量では足りません。いま何GB空いているかはタスクマネージャーで確認できます。

計算値よりファイルサイズのほうが確実

計算値より確実なのは、配布されているファイルのサイズです。使いたい量子化のファイルサイズを見て、それに余裕を足してください。

間違えるとどうなるか

VRAMに収まらないと、多くの実行環境では自動であふれた分をシステムメモリに置きます。動きはしますが、体感で分かるほど遅くなります。「動くけれど遅い」のか「そもそも動かない」のかで対処が変わるので、まずどちらなのかを確かめてください。

VRAMに収まらない分は、システムメモリに置いて動かすこともできます（オフロード）。動作はしますが、GPUの外へ出た分だけ大幅に遅くなります。全部をVRAMに載せられるかどうかが、実用になるかの分かれ目です。

自分の環境で足りるか確かめる手順

1. タスクマネージャーの「パフォーマンス」タブでGPUを選び、「専用GPUメモリ」の搭載量と使用中の量を見ます。
2. 使いたいモデルの配布ページで、量子化ごとのファイルサイズを確認します。
3. ファイルサイズに1.5GBほど足した値を、空いているVRAMと比べます。
4. 足りなければ、まず一段下の量子化（Q5_K_M→Q4_K_Mなど）を試します。ここで収まることが多くあります。
5. それでも足りなければ、パラメータ数の小さいモデルに替えるか、VRAMの大きいカードを検討します。

順番に意味があります。量子化を下げる・モデルを替えるのは費用がかからないので、カードの買い替えはいちばん最後です。

買い替えなくてよい場合

• 量子化を一段下げるだけで収まることがあります。Q5_K_M から Q4_K_M にすると、必要な容量は約15%減ります。
• 同じ用途でも、パラメータ数の小さいモデルで足りる場合があります。用途に合うかを先に試してください。
• 扱う文が短ければ、履歴の領域は小さくて済みます。長い文書を丸ごと読ませないなら、目安より少ないVRAMでも動きます。

関連する判定

• 主要モデルの必要VRAM一覧（実ファイルサイズ）
• VRAM容量ごとに動かせるモデル
• VRAMとシステムメモリの違い
• システムメモリはどれくらい必要か
• 画像生成に必要なVRAM
• ローカルと月額はどちらが安いか

出典と確認方法

このページの数値は、以下の一次情報に基づいています。同じ手順でご自身でも確認できます。

• llama.cpp 公式ドキュメント（quantize / bits per weight）：量子化の形式ごとの1重みあたりビット数（Q4_K_M・Q8_0・F16 など）
• モデル配布ページのファイルサイズ：Hugging Face などの配布ページでファイル一覧を開き、使いたい量子化のファイル（例: Q4_K_M）のサイズを見ます。そのサイズが、重みを載せるのに必要なメモリの実測値です。計算値と食い違う場合は、ファイルサイズのほうを信じてください。
• いま空いているVRAMの確認方法：タスクマネージャーを開き、「パフォーマンス」タブでGPUを選びます。「専用GPUメモリ」の欄に、搭載量と使用中の量が出ます。モデルを載せられるのは、この差の分だけです。

当サイトは配布ページから取得した実ファイルサイズと、パラメータ数からの計算値を自動で突き合わせ、大きく食い違う値は公開せずに除外しています。モデルは入れ替わるため、判断の前には配布ページの現在のファイルサイズもあわせてご確認ください。

判定の作り方・自動で行っている検算・運営者の立ち位置は判定の方法にまとめています。

よくある質問

VRAMが足りないとどうなりますか。

多くの実行環境では、あふれた分をシステムメモリに置いて動作を続けます。壊れることはありませんが、GPUの外に出た分だけ大幅に遅くなります。

システムメモリを増やせば解決しますか。

解決しません。VRAMとシステムメモリは別のものです。GPUに載せられるのはVRAMの分だけで、メモリを増やしてもVRAMは増えません。

量子化を下げると品質はどれくらい落ちますか。

形式ごとに1重みあたりのビット数が決まっており、下げるほど情報量は減ります。ただし用途によって影響の出方が違うため、当サイトでは品質の優劣を数値で断定しません。実際に試して比べてください。

複数のGPUに分けて動かせますか。

実行環境によっては可能です。ただし分割の仕方や速度は環境によって変わるため、1枚に載せられる容量を基準に選ぶほうが確実です。

この条件に合う製品

下記は、この記事の条件に合う製品です。対応を確認しやすいメーカーの製品から機械的に選んだもので、当サイトが実際に使用して比較したものではありません。購入前には、必ずメーカーの仕様欄で対応状況をご確認ください。