AI 服务上生产的注意事项，都是踩出来的

开发环境跑通模型只是开始，真正麻烦的是上生产。我部署过几个 AI 服务，踩了不少坑，这篇把最重要的注意事项整理出来。

1. 模型加载与预热。大模型加载要几十秒到几分钟，生产环境不能等第一个请求来了才加载。启动脚本里加预热：服务起来后先发一个测试请求，确认模型就绪再开始接流量。

2. 请求超时。LLM 生成可能很慢（长文几十秒），前端、网关、代理层的超时都要放宽。我遇到过 nginx 默认 60s 超时，长文生成直接 504。nginx 的 proxy_read_timeout 记得调大。

3. 并发与排队。单卡并发有限，超出能力要有排队机制（队列 + 超时拒绝），别让请求无限堆积把服务拖垮。可以加个"当前排队数"接口给前端提示"系统繁忙"。

4. 流式输出。前面讲过的 SSE，生产必须支持流式，不然用户等十几秒没反馈直接关页面。

5. 可观测性。日志、指标、链路追踪三件套。关键指标：QPS、延迟（p50/p95）、错误率、token 消耗。出问题先看指标，别瞎猜。

6. 优雅降级。模型服务挂了要有降级方案：返回缓存答案、转人工、或者提示"暂时不可用"。别让整个应用跟着挂。

7. 配置管理。模型路径、API key、参数（temperature 等）别硬编码，放环境变量或配置中心。换模型版本只改配置，不动代码。

8. 灰度发布。新模型上线先灰度：5% 流量跑新模型，对比错误率和满意度，没问题再全量。

9. 数据合规。用户输入和模型输出都要过安全审查，敏感信息脱敏，日志里别打明文。

10. 成本监控。上线前就配好成本告警，别等月底账单吓一跳。token 消耗按天看，异常突增要能发现。

最后：上生产不是把服务跑起来就行，要把"挂了怎么办、慢了怎么办、烧钱了怎么办"都想清楚。