显存不够跑大模型？这 6 种方案我都试过了

手里只有一张 8G 的卡，却想跑 14B 甚至更大的模型，怎么办？我陆陆续续试了 6 种方案，按"性价比"排个序，给大家参考。

方案一：量化（最推荐）。Q4_K_M 能让 14B 模型从 28G 降到 9G 左右，8G 卡刚好卡线。如果还想更小，Q3_K_S 能到 7G 左右，但质量掉得比较明显。详见我之前那篇 GGUF 量化的文章。

方案二：减少上下文长度。KV cache 占的显存跟上下文长度成正比，32768 上下文能吃掉 6-8G 显存。如果业务不需要长上下文，设 8192 能省一大半。

方案三：只加载部分层到 GPU（层卸载）。llama.cpp 的 --n-gpu-layers 参数，可以只把一部分层放 GPU，其余放 CPU。8G 卡跑 14B，--n-gpu-layers 20 能跑，但速度只有 6-7 tokens/s，属于"能跑但很憋屈"。

方案四：CPU offload。这个其实就是把整个模型放内存跑，依赖内存带宽。DDR5 双通道大概能到 5-8 tokens/s，DDR4 就 3-4。内存够大（32G+）的话，跑 14B 完全可行。

方案五：投机解码（speculative decoding）。用一个小的草稿模型生成候选，大模型只验证。vLLM 里支持，能提速 1.5-2 倍。但这个对显存反而有额外占用，小卡上收益有限。

方案六：换小模型（最后的倔强）。实在不行就 7B 甚至 3B，现在 7B 量化后质量也不差，配合 RAG 完全能撑起大部分场景。

总结：8G 卡的合理路径是"7B 量化 + 短上下文"，追求质量就"14B Q4 + 层卸载"。别指望一张 8G 卡流畅跑 32B，那是不现实的。