硅基元年
  • 首页
  • 课程
  • 文章
  • 关于
微信登录注册

文章· 标签:推理

1 篇

显存不够跑大模型?这 6 种方案我都试过了

张老师·2025/03/25·375 阅读

从量化、卸载层、到 CPU offload、投机解码,按性价比排序的显存优化实战。

#显存#优化#推理
定位中…
--:--:--
…

热门标签

RAG踩坑API实战Agent本地部署知识库部署向量检索AI绘画Embedding多智能体安全工具调用微调成本优化接入架构缓存评估语音运维提示词工程AMDASRAutoGenBM25CUDAChatGPTChromaComfyUICrewAIDeepSeekDockerFunction CallingGPUHuggingFaceLLMLangChainLangGraphLoRAMCPMilvusNeo4jOOMOllamaPlaywrightPrompt注入QdrantQwenROCmRedisRerankSSESaaSStable DiffusionTTSVLMWhisperllama.cppvLLM下载优化会话内容安全分块协议召回优化合规向量数据库回归测试多模态多租户审查幻觉排查推理推理优化数据脱敏日志显存检索优化流式输出浏览器自动化混合检索生产监控知识图谱经验统一网关自动化记忆设计语音识别运营重试量化长文档防御限流隐私AIGC机器学习PythonAI 绘画

AI前沿速递

暂无资讯,等待后台配置抓取…

硅基元年

系统化 AI 教程与前沿资讯平台,让每个人都能掌握人工智能。

快速链接

  • 首页
  • 课程
  • 文章
  • 关于
  • 隐私政策

联系我们

hello@aicourse.dev

© 2026 硅基元年 · 保留所有权利

京ICP备00000000号