ELK 日志分析项目落地需聚焦数据流向、字段语义、索引生命周期与可运维告警。用 Filebeat 轻量采集并预处理日志；预设 index template 避免全 text 陷阱，启用 ILM 按天滚动索引；Kibana 中先验证 Discover，再用 Lens 建图、Dashboard 整合视图；通过 Kibana Alerting 配置阈值告警并对接企微 / 钉钉。
ELK（Elasticsearch + Logstash + Kibana）是 Linux 日志分析中最常用的开源日志平台，它能实现日志的集中采集、结构化处理、可视化展示和阈值告警。要落地一个可用的日志分析项目，关键不是堆砌组件，而是理清数据流向、明确字段语义、控制索引生命周期，并让告警真正可运维。
一、日志采集：用 Filebeat 替代 Logstash 做轻量级输入
Logstash 功能强但资源消耗高，生产环境建议用 Filebeat 作为日志收集端——它基于 Go 编写，内存占用低，支持多行合并（如 Java 异常 栈）、字段添加（host、env、app_name）和 TLS 加密传输。
- 在每台 Linux 服务器部署 Filebeat，配置 filebeat.inputs 指向 /var/log/*.log 和应用日志路径
- 用 processors 提取时间戳、级别（level）、服务名（service），例如通过正则解析 Nginx access.log 中的 $status 和 $request_time
- 输出到 Elasticsearch 或先经 Kafka 中转（高吞吐 / 解耦场景），避免直连 ES 导致写入瓶颈
二、索引设计与字段映射：避免“全字段 text”陷阱
默认动态映射会把所有字符串设为 text 类型（带分词），导致无法聚合、排序或精确匹配。必须提前定义 index template：
- 对日志级别（level）、状态码（status）、主机名（host.name）等字段，显式设为 keyword
- 对消息体（message）、请求路径（url.path）保留 text + keyword 多字段，兼顾搜索与聚合
- 启用 index.lifecycle.name 配置 ILM 策略，自动按天滚动索引（如 logs-nginx-2024.06.15），30 天后删除或转入冷节点
三、Kibana 可视化：从 Discover 到 Lens 再到 Dashboard
不要一上来就建炫酷图表。先确保数据可查、字段可用：
- 在 Discover 中验证 time filter 是否生效、@timestamp 是否准确（注意时区，推荐全部转为 UTC 存储）
- 用 Lens 快速生成柱状图（错误数按 service 分组）、折线图（5xx 响应每分钟趋势）、饼图（各 level 占比）
- Dashboard 中嵌入多个视图，加一个 Filter bar 允许用户按 env=prod / service=api 过滤，导出 PDF 报表也支持
四、告警配置：用 Stack Monitoring + Alerting 实现闭环
Kibana 7.10+ 内置 Alerting，无需 X-Pack 插件。重点在于告警逻辑合理、通知渠道可靠、避免误报：
- 创建规则类型为 Threshold，查询条件如：event.severity: “ERROR” and host.name: “web-server-*”，统计 5 分钟内数量 > 10
- 使用 Actions 发送企业 微信 / 钉钉 机器人（Webhook），模板中插入 {{context.results.0.doc_count}} 和 {{context.hits.0._source.message}}
- 开启 Alert History 查看触发记录；设置 Mute alerts 在发布窗口临时静音，防止干扰
不复杂但容易忽略：时间戳对齐、字段类型预设、告警恢复通知、索引清理策略。跑通一条从 Nginx 日志 → Filebeat → ES → Kibana 图表 → 企业微信 告警的链路，整个 ELK 日志分析项目骨架就立住了。
