凌晨三点,手机在床头柜上震个不停。运维工程师老张闭着眼摸到手机,屏幕上是一串熟悉的红色告警——某台服务器的 CPU 冲到了 98%。等他爬起来连上内网、翻完三套监控面板、又拉了两个同事一起确认,天已经蒙蒙亮。最后发现,真正出问题的不是那台 CPU 飙高的机器,而是它下游一个不起眼的数据库连接池。
这种「报警的是 A,坏掉的却是 B」的戏码,在运维圈几乎天天上演。也正因为如此,这几年一个词被反复提起:AIOps。它不是某个能装进机房的软件盒子,更接近一种思路——把机器学习和数据分析的手段搬进 IT 运维,让机器先替人把海量监控数据看一遍。
人盯不过来的数据,才是问题真正的起点
一个中等规模的互联网系统,一天产生的监控指标动辄上亿条,再加上日志、接口调用链、配置变更记录,信息量大到夸张。这就像让一个保安同时盯五千个摄像头,画面里九成九都是正常走动的人,但偏偏要求他在两秒内指出哪一个是翻墙进来的。
靠人眼看,只能靠经验挑几条关键指标设个阈值:CPU 超过 90% 就报警。可业务是有节奏的——白天订单多,CPU 本来就高;凌晨做批量任务,磁盘读写也会飙升。死阈值要么太松漏掉真问题,要么太紧把人吵到麻木。到最后,很多团队干脆把告警群设成免打扰,这恰恰是最危险的状态。
它背后其实就干四件事
- 先把数据收齐。指标(CPU、内存、响应时间这类数字)、日志(程序自己打的流水账)、调用链(一次请求经过了哪些服务),先统一到一处,这是所有分析的地基。
- 再判断「不正常」。不是定死阈值,而是让模型学出系统在不同时段的「日常长相」,偏离得离谱了才出声。周末流量涨三成属于正常,工作日半夜突然涨三成才可疑。
- 然后把线索连起来。这是最有价值的一步。当二十个服务同时报警,模型去比对时间先后和依赖关系,尽量指出「源头是哪个,其余都是被牵连的」,业内叫根因定位。
- 最后处理。简单重复的情况,比如某个进程卡死、某台机器需要临时扩容,可以按预设规则自动执行;复杂情况则整理成一份带上下文的报告,交给人拍板。
打个比方,过去运维像一位凭手感看病的老中医,全靠多年经验摸脉;AIOps 更像给系统配了一套持续运转的体检设备,把指标变化和相互关系摆出来,医生看片子下结论,效率完全不同。
落到真实业务里,它长什么样
最典型的场景是大促前的容量评估。以前靠拍脑袋估「今年流量翻三倍,机器先加四倍」,加多了浪费,加少了出事。有了历史数据的建模,系统能把往年同期、活动节奏、各接口的增长曲线一起算进去,给出更贴近实际的资源预案。
另一个高频场景是告警收敛。某家公司做过统计,一次线上故障在十五分钟内能触发三百多条告警,工程师光是一条条看完就得半小时。经过关联归并,最后呈现的可能只有三条事件,而且第一条就指向了出问题的服务。这省下的不是几分钟,而是故障恢复最宝贵的那段时间。
还有一个容易被忽略的用处:新版本上线后的观察。错误率从 0.01% 涨到 0.02%,人工看几乎无感,但模型知道这个接口平时有多稳,这点偏离已经足够异常,能提前把问题拦在用户大规模反馈之前。
几个常被误解的地方
第一个误会是它要取代运维。实际上它接走的是重复劳动——盯盘、翻日志、整理告警,真正要做决策、改架构、判断业务影响的还是人。第二个误会是买来就能用。算法需要历史数据喂养,也需要人把「什么算正常」标注清楚,上线初期往往还要跟人工判断并行跑一阵子。第三个误会是准确率越高越好。误报和漏报本来就是天平两端,天天狼来了,工程师很快就不信它了;宁可稍微多报一点,也别让真问题沉底。
它现在还不够好的地方
数据质量是第一道坎。很多老系统的日志格式混乱、字段缺失,模型再聪明也做不出好判断,业内那句「数据不干净,算法全白搭」不是玩笑。其次是黑盒问题:模型说这里有异常,却说不清为什么,工程师不敢直接采信,只好回头自己查,价值就打折了。另外,业务在变,模型也会「漂移」,上个月学到的规律这个月可能就不准,需要持续校准,这对团队是长期投入。
所以现阶段比较务实的期待是:它能帮你把噪音筛掉、把线索理清、把明显的问题自动处理掉,但别指望它一上线就无人值守。
接下来会往哪走
方向大致是三步:从「报故障」,到「给建议」,再到「自己动手」。目前多数团队还在第一步和第二步之间,自动修复只在少数边界清晰的场景里敢用。至于大规模语言模型带来的变化,更现实的价值是让人能用一句话查数据、问原因,把查询门槛降下来,而不是让它替人拍板。
也许再过几年,凌晨三点那通电话依然会响,但接起来时,屏幕上已经写好了「大概是哪出了问题、影响哪些用户、建议先做这一步」。对运维来说,这就已经是很大的体面了。
