ローカルLLMに必要なVRAMは何GB？｜パラメータ数と量子化から計算できます

本記事にはアフィリエイト広告を含みます。掲載している数値はモデルの配布ページと公式ドキュメントの実測値に基づいており、広告の有無によって内容を変えることはありません。

結論に合う候補を見る（ページ内の製品カードへ移動します）

いま動かない・遅いという状態なら、先にタスクマネージャーでVRAMの搭載量と使用中の量を確かめてください（手順は下にあります）。VRAMはグラフィックボードに載っているメモリで、PC本体のメモリ（システムメモリ）とは別のものです。本体のメモリを増やしてもVRAMは増えません。

7B・32Bの「B」はパラメータ数の単位（10億）で、7Bは約70億パラメータのモデルです。量子化は、モデルの重みを少ないビット数で表して容量を減らす形式のことです。Q4_K_M・Q8_0などの名前で配布されていて、形式ごとに1重みあたりのビット数が決まっています。

VRAM容量別に載るモデルの大きさ

手元のカードのVRAMから見る表です。やり取りの履歴と実行環境の分（約1.5GB）を含めて余裕をもって載る、いちばん大きいモデルです。約1.5GBは短いやり取りを前提にした目安で、長い文脈では履歴の分が数GBに増えます。同じ大きさでも、Q8_0はQ4_K_Mの約1.7倍の容量が要ります。

VRAM	Q4_K_M	Q8_0
8 GB	8Bまで	3Bまで
10 GB	12Bまで	7Bまで
12 GB	14Bまで	8Bまで
16 GB	20Bまで	12Bまで
20 GB	27Bまで	14Bまで
24 GB	32Bまで	20Bまで
32 GB	32Bまで	27Bまで

境界ぎりぎりの組み合わせは、扱う文が長いと履歴の分が足りなくなります。表にない大きさのモデルは、次の表で計算できます。

モデルの大きさ別の必要容量

重みを入れるのに必要な容量です。1重みあたりのビット数は llama.cpp 公式ドキュメントの実測値を使っています。

モデル	Q4_K_M	Q5_K_M	Q8_0	F16
7B	4.3 GB	5.0 GB	7.4 GB	14.0 GB
14B	8.6 GB	10.0 GB	14.9 GB	28.0 GB
32B	19.6 GB	22.8 GB	34.0 GB	64.0 GB
70B	42.8 GB	49.9 GB	74.4 GB	140.0 GB

量子化ごとのビット数

形式	1重みあたり	備考
F16	16.00 bit	量子化していない元の精度です。必要な容量は最大になります。
Q8_0	8.50 bit	F16の約半分の容量になります。1重みあたりのビット数は量子化のなかで最大です。
Q6_K	6.56 bit	Q8_0より小さく、Q5_K_Mより大きい容量です。
Q5_K_M	5.70 bit	Q6_KとQ4_K_Mの中間の容量です。
Q4_K_M	4.89 bit	配布されているファイルで最も多く見かける形式です。Hugging Faceのファイル一覧で確認できます。
Q4_K_S	4.67 bit	Q4_K_Mよりわずかに小さくなります。
Q3_K_M	4.00 bit	Q4_K_Sより小さい容量です。1重みあたりのビット数がさらに減ります。
Q2_K	3.16 bit	最小級です。1重みあたりのビット数が最も少なくなります。

当サイトが出しているのは、1重みあたりのビット数と、そこから計算した必要容量までです。量子化ごとの出力品質は測っていないため、どれがどれだけ劣るかは書きません。

重み以外にも要る

モデルの重みのほかに、やり取りの履歴を保持する領域（KVキャッシュ）と、実行環境そのものが使う分が要ります。KVキャッシュは扱う文の長さに比例して増え、長い文脈では数GBに達することがあります。

デスクトップの画面描画にもVRAMが使われます。モデル本体ぴったりの容量では足りません。いま何GB空いているかはタスクマネージャーで確認できます。

計算値よりファイルサイズのほうが確実

計算値より確実なのは、配布されているファイルのサイズです。使いたい量子化のファイルサイズを見て、それに余裕を足してください。

間違えるとどうなるか

VRAMに収まらないと、実行環境によっては自動であふれた分をシステムメモリに置きます。動きはしますが、システムメモリに置いた分の処理が遅くなります。重みの大きさがVRAMの2倍を超えるほど不足している場合は、動いても実用になりません。まず、いまのVRAMに対してどれだけ不足しているかを下の手順で確かめてください。

自分の環境で足りるか確かめる手順

1. タスクマネージャーの「パフォーマンス」タブでGPUを選び、「専用GPUメモリ」の搭載量と使用中の量を見ます。
2. 使いたいモデルの配布ページで、量子化ごとのファイルサイズを確認します。
3. ファイルサイズに1.5GBほど足した値を、空いているVRAMと比べます。
4. 足りなければ、まず一段下の量子化（Q5_K_M→Q4_K_Mなど）を試します。ここで収まることがあります。
5. それでも足りなければ、パラメータ数の小さいモデルに替えるか、VRAMの大きいカードを検討します。

順番に意味があります。量子化を下げる・モデルを替えるのは費用がかからないので、カードの買い替えはいちばん最後です。

カードを替える場合、BTO・メーカー製PCではケースに収まる長さ・電源・保証の規定を先に確かめてください。確認する項目はグラボが自分のPCで使えるか確認する方法にまとめています。

買い替えなくてよい場合

• 量子化を一段下げるだけで収まることがあります。Q5_K_M から Q4_K_M にすると、必要な容量は約15%減ります。
• 同じ用途でも、パラメータ数の小さいモデルで足りる場合があります。用途に合うかを先に試してください。
• 扱う文が短ければ、履歴の領域は小さくて済みます。長い文書を丸ごと読ませないなら、目安より少ないVRAMでも動きます。

必要なVRAMが分かったあとの候補

必要なVRAMの容量が決まったら、その容量以上のカードを選びます。16GBのRTX 5060 Tiと12GBのRTX 5070を1つずつ並べています。容量が足りないカードでは、性能の数字が高くてもそのモデルは載りません。対応を確認しやすいメーカーの製品から1つずつ選んで並べたもので、当サイトが実際に使用して比較したものではありません。購入前には、必ずメーカーの仕様欄で対応状況をご確認ください。

よくある質問

VRAMが足りないとどうなりますか。

実行環境によっては、あふれた分をシステムメモリに置いて動作を続けます。GPUの外に出た分だけ大幅に遅くなります。

システムメモリを増やせば解決しますか。

解決しません。VRAMとシステムメモリは別のものです。GPUに載せられるのはVRAMの分だけで、メモリを増やしてもVRAMは増えません。

量子化を下げると品質はどれくらい落ちますか。

形式ごとに1重みあたりのビット数が決まっており、下げるほど情報量は減ります。ただし用途によって影響の出方が違うため、当サイトでは品質の優劣を数値で断定しません。実際に試して比べてください。

複数のGPUに分けて動かせますか。

実行環境によっては可能です。ただし分割の仕方や速度は環境によって変わるため、1枚に載せられる容量を基準に選ぶほうが確実です。

VRAM 16GBのカードでは、どの大きさまで載りますか。

余裕をもって載るのは、Q4_K_Mなら20Bまで、Q8_0なら12Bまでです。上の「VRAM容量別に載るモデルの大きさ」の表と同じ計算で、やり取りの履歴と実行環境の分を含めています。

PC本体のメモリ（システムメモリ）は、どれくらい要りますか。

モデルがVRAMに載りきるかどうかで変わります。載りきらない分をシステムメモリに置く実行環境では、そのぶん本体のメモリが要ります。考え方はローカルAIにパソコンのメモリは何GB必要？にまとめています。

出典と確認方法

このページの数値は、以下の一次情報に基づいています。同じ手順でご自身でも確認できます。

• llama.cpp 公式ドキュメント（quantize / bits per weight）：量子化の形式ごとの1重みあたりビット数（Q4_K_M・Q8_0・F16 など）
• モデル配布ページのファイルサイズ：Hugging Face などの配布ページでファイル一覧を開き、使いたい量子化のファイル（例: Q4_K_M）のサイズを見ます。そのサイズが、重みを入れるのに必要なメモリの実測値です。計算値と食い違う場合は、ファイルサイズのほうを信じてください。
• いま空いているVRAMの確認方法：タスクマネージャーを開き、「パフォーマンス」タブでGPUを選びます。「専用GPUメモリ」の欄に、搭載量と使用中の量が出ます。モデルを入れられるのは、この差の分だけです。

この記事の数値は、配布ページで公開されている実ファイルサイズと、パラメータ数からの計算をもとにしています。モデルは入れ替わるため、判断の前には配布ページの現在のファイルサイズもあわせてご確認ください。

判定の根拠は判定の方法にまとめています。