本記事にはアフィリエイト広告を含みます。掲載している数値はモデルの配布ページと公式ドキュメントの実測値に基づいており、広告の有無によって内容を変えることはありません。
結論：容量ごとに上限が決まります
VRAMの容量ごとに、動かせるモデルの大きさが決まります。Q4_K_Mであれば8GBなら8Bまで、12GBなら14Bまで、24GBなら32Bまでが目安です。同じ容量でも、量子化を上げると載る上限は下がります。
VRAM容量ごとに余裕をもって動かせる上限
やり取りの履歴と実行環境の分を含めた場合です。同じカードでも、量子化を上げるほど載るモデルは小さくなります。容量に余裕があるほど、大きいモデルを選ぶか、同じモデルをより高い品質の量子化で動かすかを選べます。
| VRAM | Q4_K_M | Q5_K_M | Q8_0 |
|---|---|---|---|
| 8 GB | 8B まで | 8B まで | 3B まで |
| 10 GB | 12B まで | 8B まで | 7B まで |
| 12 GB | 14B まで | 14B まで | 8B まで |
| 16 GB | 20B まで | 20B まで | 12B まで |
| 20 GB | 27B まで | 20B まで | 14B まで |
| 24 GB | 32B まで | 27B まで | 20B まで |
| 32 GB | 32B まで | 32B まで | 27B まで |
容量が最優先になる理由
ゲームではカードの演算性能が効きますが、モデルを動かす場合はまず載るかどうかが先に来ます。載らなければ速度以前の問題になり、あふれた分をシステムメモリに置いた時点で、演算性能の差より遅さのほうが大きくなるためです。
VRAMに収まらない分は、システムメモリに置いて動かすこともできます（オフロード）。動作はしますが、GPUの外へ出た分だけ大幅に遅くなります。全部をVRAMに載せられるかどうかが、実用になるかの分かれ目です。
間違えるとどうなるか
演算性能だけを見て選ぶと、「速いはずのカードなのにモデルが載らない」という結果になります。使いたいモデルを先に決めて、その容量から選んでください。用途が決まっていない段階で上位のカードを買うと、使わない性能に払うことになります。
買い替えなくてよい場合
- いま持っているカードで動くモデルがあるなら、まずそれで用途に足りるかを試してください。小さいモデルで済む用途は多くあります。
- 量子化を下げれば、同じカードで一回り大きいモデルが載ります。買う前に試せます。
- 文章を読ませるだけなら、外部のサービスを使うほうが安く済むこともあります。ローカルで動かす理由が「情報を外に出さない」ことなのか「月額を避ける」ことなのかで、必要な投資額は変わります。
関連する判定
- 必要VRAMの計算のしかた
- 主要モデルの必要VRAM一覧（実ファイルサイズ）
- VRAMとシステムメモリの違い
- システムメモリはどれくらい必要か
- 画像生成に必要なVRAM
- ローカルと月額はどちらが安いか
載せ替えて外したグラフィックボードはどうするか
VRAMの大きいカードに替えると、これまでのカードが余ります。置いておいても構いませんし、処分しても構いません。買取に出すという選択肢もあるので、行き先の1つとして挙げておきます。
当サイトはこの業者を使ったことがないため、査定額や対応の良し悪しは判断できません。確認できたのは、買取実績としてグラフィックボード・マザーボード・メモリ・SSDの例が載っていること、それだけです。実際に値が付くかは査定によります。
送料・手数料・査定料・梱包材がすべて無料【パソコン買取アローズ】
出典と確認方法
このページの数値は、以下の一次情報に基づいています。同じ手順でご自身でも確認できます。
- llama.cpp 公式ドキュメント（quantize / bits per weight）：量子化の形式ごとの1重みあたりビット数（Q4_K_M・Q8_0・F16 など）
- モデル配布ページのファイルサイズ：Hugging Face などの配布ページでファイル一覧を開き、使いたい量子化のファイル（例: Q4_K_M）のサイズを見ます。そのサイズが、重みを載せるのに必要なメモリの実測値です。計算値と食い違う場合は、ファイルサイズのほうを信じてください。
- いま空いているVRAMの確認方法：タスクマネージャーを開き、「パフォーマンス」タブでGPUを選びます。「専用GPUメモリ」の欄に、搭載量と使用中の量が出ます。モデルを載せられるのは、この差の分だけです。
当サイトは配布ページから取得した実ファイルサイズと、パラメータ数からの計算値を自動で突き合わせ、大きく食い違う値は公開せずに除外しています。モデルは入れ替わるため、判断の前には配布ページの現在のファイルサイズもあわせてご確認ください。
判定の作り方・自動で行っている検算・運営者の立ち位置は判定の方法にまとめています。
よくある質問
VRAMが同じなら、どのカードでも同じですか。
載るかどうかは同じです。生成の速さはカードの演算性能で変わりますが、まず載ることが前提になります。
8GBのカードでは何もできませんか。
Q4_K_Mなら8Bまでのモデルが余裕をもって動きます。用途によっては十分です。
70Bを動かしたい場合はどうすればよいですか。
Q4_K_Mでも重みだけで約42.8GBあり、一般に流通しているカード1枚には載りません。複数枚に分ける、より大きいVRAMを積んだ製品を使う、あるいはシステムメモリへのあふれを許容して遅さを受け入れる、のいずれかになります。
ゲーム用のカードとAI用のカードは違いますか。
同じカードを使えます。選び方の基準が変わるだけで、ゲームでは演算性能、モデルを動かす場合はVRAM容量が先に来ます。ゲームでも使う場合は、DLSSの機能ごとの対応シリーズもあわせて確認してください。使いたい機能によって必要なシリーズが変わります。
この条件に合う製品
下記は、この記事の条件に合う製品です。対応を確認しやすいメーカーの製品から機械的に選んだもので、当サイトが実際に使用して比較したものではありません。購入前には、必ずメーカーの仕様欄で対応状況をご確認ください。
Palit NE75080019T2-GB2031A (GeForce RTX 5080 GamingPro 16GB) / Palit(パリット)