vLLM 生产部署笔记：从 PagedAttention 到 OpenAI 兼容接口
陈老师··871 阅读
为什么吞吐比 HuggingFace 原生高那么多、KV cache 显存怎么算、以及上线前必须改的几个环境变量。
文章· 标签：本地部署
5 篇Ollama 部署 Qwen2.5 的那些坑，我踩了一遍
张老师··194 阅读
从拉模型到跑起来的完整记录，包括 OLLAMA_HOST 配置、显卡显存占用、以及那个让我查了半天的 concurrent 参数。
本地 RAG 从零搭建，我用的这 5 个组件
唐老师··513 阅读
不想用 Dify 全家桶的话，自己拼一个 RAG 需要哪些东西？本文给出最小可用的组合和完整链路。
LangChain 接本地 Ollama，我踩的 6 个坑
王老师··445 阅读
LCEL 链跑不通、工具调用失效、token 数算不对……本地模型接 LangChain 的常见问题都在这。
llama.cpp 量化到 GGUF 全流程，从 fp16 到 Q4_K_M 一次说清
唐老师··855 阅读
不同量化等级的显存占用、推理速度、质量损失实测对比，以及转换脚本里那些容易写错的参数。