某天凌晨三点，某电商后台告警突然密集弹出——不是来自防火墙，也不是WAF，而是从ELK集群里跑出来的一条聚合规则：过去10分钟内，同一IP对/login接口发起47次POST请求，且payload中包含3个以上SQL注入特征字符串。运维还没点开详情，自动封禁脚本已把该IP加入黑名单。
日志早就在那儿，缺的是‘听懂’它的耳朵
很多企业服务器上跑着syslog、nginx access log、Suricata告警、Windows事件日志……每天动辄几十GB，存满就轮转，轮转完就归档，归档完基本等于进回收站。不是不想用，是传统SIEM工具一查三天前的横向移动痕迹，得写五六层嵌套查询，等结果时泡的茶都凉了。
真正起作用的，不是“把所有日志塞进Hadoop”，而是让日志在流动中被理解。比如把NetFlow流量元数据、终端EDR进程树、云平台API调用日志打上统一时间戳和资产标签，再用Flink做实时关联——当某台办公机突然大量访问数据库服务器的1433端口，同时其本地进程启动了mimikatz.exe签名进程，两条日志在5秒内完成跨源匹配，告警直接推到SOC工单系统。
一个真实落地的小切口：SSH爆破识别升级
老办法：用grep统计/var/log/secure里Failed password次数，超10次就发邮件。问题在于，攻击者早学会慢速爆破（每小时3次）、换IP段、混入正常登录——传统阈值根本抓不住。
新做法：把全网SSH日志接入Spark Streaming，做三件事：
- 提取IP地理信息（城市+ASN）与历史连接行为建模；
- 对比该IP在其他业务系统（如跳板机、堡垒机）是否出现过；
- 结合用户登录时段规律（比如财务部员工从不凌晨2点登录）。
最后输出一个风险分值，>85才触发人工复核。上线后误报率降了62%，真正挖出两起用社工凭证绕过MFA的内部渗透。
别急着买平台，先理清三条线
采集线：不用强求所有日志格式统一，但关键字段必须标准化——比如src_ip、dst_port、event_type、asset_id。Nginx日志加一条log_format，Windows事件用Winlogbeat打标，成本远低于后期清洗。
分析线：少堆模型，多用规则+统计。比如用Elasticsearch的Painless脚本实现“同一用户1小时内从3个不同省份登录”，比训练LSTM识别异常登录更稳、更快、更好调。
响应线：日志分析结果要能直接驱动动作。不是生成PDF报告，而是调用Ansible Playbook隔离主机、通过企业微信机器人@对应负责人、或向防火墙API推送临时ACL策略。
某地市级政务云去年把日志分析模块嵌进运维值班App：一线人员点开告警，直接看到“该IP近7天扫描过12台服务器，其中3台存在未修复的Log4j漏洞”，旁边两个按钮：【一键封禁】和【推送漏洞工单】。没有大屏，没有炫酷图谱，但处置时间从平均47分钟缩到92秒。
日志不会撒谎，大数据也不是万能胶。真正值钱的，是让每条日志在正确的时间、以正确的形式、抵达正确的人手里——剩下的，交给经验判断。