上线阶段工具：配置开关灰度+日志监控+告警+影子运行比对

🎛️ 配置开关灰度

用途：功能可以通过配置开关随时开启/关闭，支持灰度发布（先给一部分用户用，没问题再全量），降低上线风险。

实现：① 每个功能（特别是AI功能）都有配置开关——可以在管理后台或配置文件中开启/关闭，不需要改代码、不需要重新部署；② 灰度发布支持按用户比例（先10%用户，再50%，再100%）、按用户类型（先内部用户，再VIP客户，再全量）、按地域（先一个地区，再全国）；③ 开关有默认值——新功能默认关闭，确认没问题再开启；④ 开关有日志——谁、什么时候、开了/关了什么功能，都有记录。

价值：① 降低上线风险——新功能先给小部分用户用，有问题只影响小部分用户，随时可以关掉，不会全量翻车；② 快速回滚——出了问题，一键关掉功能，不用回滚代码、不用重新部署，几分钟恢复；③ A/B测试——可以同时开两个版本（A组用旧版，B组用新版），对比效果，数据驱动决策；④ 功能可控——客户可以根据自己的需求和节奏，决定什么时候开什么功能，有掌控感。

📊 日志监控

用途：记录和监控系统运行状态——用户请求、AI调用、响应时间、错误、效果指标，确保系统运行状态可见，出了问题能快速定位。

监控内容：① 系统指标：CPU、内存、磁盘、网络、服务可用性；② 应用指标：请求量、响应时间、错误率、并发量；③ AI指标：AI调用次数、AI准确率（跟人工对比）、AI置信度分布、人工介入率、bad case数量；④ 业务指标：用户活跃度、功能使用率、用户满意度、业务效果（效率提升、成本节省）。

实现：① 用ELK（Elasticsearch+Logstash+Kibana）或Loki+Grafana做日志收集和可视化；② 用Prometheus+Grafana做指标监控；③ 建立监控看板——系统看板、应用看板、AI效果看板、业务看板，一目了然；④ 日志要结构化——每条日志有时间、级别、服务、请求ID、用户ID、关键信息，方便查询和分析；⑤ 日志要保留——至少保留30天，重要日志保留更久，方便问题追溯和分析。

价值：① 系统状态可见——不用等用户投诉才知道系统出问题，监控看板随时看；② 问题快速定位——出了问题，查日志、看指标，几分钟定位原因；③ 效果持续跟踪——AI效果指标持续监控，发现下降及时优化；④ 数据驱动决策——业务指标数据化，用数据说话，不是"我觉得效果好"。

🚨 告警

用途：系统出问题时自动告警——通知相关人员及时处理，不要等问题扩大了才发现。

告警规则：① 系统级：服务不可用、CPU>80%持续5分钟、内存>80%、磁盘>90%、网络延迟高；② 应用级：错误率>5%、响应时间>5秒（P95）、请求量异常波动（突增/突降）；③ AI级：AI准确率突然下降>10%、bad case激增、人工介入率>50%、AI调用失败率>5%；④ 业务级：用户活跃度骤降、功能使用率异常、用户投诉激增。

告警方式：① 即时通讯（飞书/钉钉/企业微信/微信）——最常用，实时到达；② 短信/电话——严重告警（服务不可用），确保相关人员及时看到；③ 邮件——一般告警，留记录；④ 告警分级——P0（紧急，服务不可用，电话+短信+即时通讯，5分钟响应）、P1（高，功能不可用或效果严重下降，即时通讯+短信，30分钟响应）、P2（中，部分问题，即时通讯，2小时响应）、P3（低，提示性，邮件，工作日处理）。

告警流程：① 告警触发→通知相关人员；② 相关人员确认收到，开始处理；③ 处理过程中更新状态（处理中/已恢复）；④ 恢复后做根因分析（为什么出问题、怎么修复、怎么预防）；⑤ 更新告警规则（避免误报/漏报）。

价值：① 问题及时发现——不用等用户投诉，告警自动通知；② 响应快——分级告警，严重问题5分钟响应；③ 减少损失——问题早发现、早处理，不会小问题拖成大事故；④ 持续改进——根因分析+告警规则优化，系统越来越稳定。

注意：告警不要太多——太多告警会"狼来了"，大家都忽略了。告警规则要精准，只告警真正需要处理的问题，一般提示性信息不用告警，放监控看板就行。定期review告警规则，关掉误报多的、调整阈值不合理的。

👤 影子运行比对

用途：AI上线前，跟人工并行运行，比对AI和人工的效果——确保AI效果达标再上线，不要直接上线翻车。（F6-4的内容有详细介绍，这里聚焦工具和比对方法）

比对内容：① 准确率——AI的决策/建议跟人工的决策/建议一致的比例；② 召回率——AI能处理的问题占总问题的比例（处理不了的转人工）；③ 效率——AI处理时间 vs 人工处理时间；④ 成本——AI处理成本 vs 人工处理成本；⑤ 错误分析——AI做错的案例，分类统计（知识缺失/prompt问题/模型能力不足/数据问题），指导优化。

实现：① 影子运行环境——AI在后台跑，不直接对外，结果只给内部看；② 比对系统——自动记录AI的结果和人工的结果，比对差异，生成比对报告；③ 每日/每周比对报告——准确率、召回率、效率、错误分类、优化建议；④ bad case收集——AI做错的案例自动收集，方便分析和优化。

价值：① 确保上线效果——影子运行效果达标了再上线，不会上线翻车；② 指导优化——错误分类分析告诉我们哪里需要优化（补知识/调prompt/换模型）；③ 建立客户信心——用数据告诉客户"AI准确率85%，比人工效率高3倍"，客户放心上线；④ 对比基准——影子运行的数据是上线后效果对比的基准，上线后效果下降了能及时发现。