Logstash不能直接有效读取ThinkPHP runtime/log/日志文件，需配合grok filter解析、UTF-8编码配置及ruby filter补时区，并推荐用Filebeat替代以提升稳定性与可靠性。
Logstash 能不能直接读取 ThinkPHP 的 runtime/log/ 文件
不能，除非改权限或加额外适配。ThinkPHP 默认日志是 PHP 进程写入的文本文件（如 runtime/log/20240512.log），每行结构松散、无固定 schema，Logstash 的 file input 插件虽能读，但默认会把整行当 message，无法自动拆解 level、time、context 等字段。
常见错误现象：logstash logs are parsed as single message without fields，Kibana 里全是 raw 字符串，搜索和聚合基本失效。
- 必须配合
grokfilter 解析，且 ThinkPHP 日志格式随版本变化（5.1/6.0/6.3 的前缀不一致） - 日志文件按天轮转，
fileinput 需启用start_position => "end"和sincedb_path，否则重启 Logstash 会重读旧文件 - PHP 进程写日志时可能有缓冲（尤其 cli 模式），
fileinput 可能漏掉末尾几行，需在 ThinkPHP 中显式调用ob_flush()或设log.flush_interval = 1
ThinkPHP 日志格式怎么对齐 Logstash 的 grok 规则
以 ThinkPHP 6.3 默认日志为例，一行典型内容是：[2024-05-12 14:22:33] local.INFO: 用户登录成功 {"uid":1001,"ip":"192.168.1.100"} 。注意中括号、空格、冒号、空格、level、冒号、空格、消息体、JSON 上下文 —— 这些都要在 grok 里严格匹配。
推荐用这个 pattern（放在 Logstash filter 段）：
立即学习“PHP免费学习笔记（深入）”；
grok {
match => { "message" => "\[%{TIMESTAMP_ISO8601:timestamp}\] %{DATA:env}\.%{LOGLEVEL:level}: %{GREEDYDATA:msg}( \{.*\})?" }
overwrite => [ "message" ]
}
-
env是 ThinkPHP 的日志通道名（如local），可用于区分测试/生产环境 - 最后的 JSON 部分用
( \{.*\})?匹配可选上下文，避免因缺失 JSON 导致整行解析失败 - 如果日志含中文或特殊符号，Logstash 配置里必须加
codec => plain { charset => "UTF-8" }，否则字段乱码 - 别依赖
datefilter 自动解析时间——ThinkPHP 时间戳没带时区，date会按本地时区偏移，建议用rubyfilter 手动补+0800
Logstash 同步卡住 / CPU 占用高怎么办
根本原因是 file input 在监控大量小日志文件（比如每天生成多个 sql.log、debug.log）时，inotify 事件频繁触发 + grok 正则回溯，导致吞吐下降甚至阻塞。
- 关闭不必要的日志通道：在 ThinkPHP 配置里设
'default' => 'single'，避免多文件并发写入 - Logstash 的
fileinput 中，path尽量具体，比如/var/www/app/runtime/log/*.log，不要写成/var/www/app/runtime/**/* - 加
ignore_older => 86400（单位秒），跳过 1 天前的文件，减少扫描负担 - 如果只是调试，临时禁用
grok，先确认 file input 能稳定读取；再逐个加 filter 测试性能影响
为什么用 Filebeat 替代 Logstash 直读更稳妥
因为 Logstash 是重量级 JVM 进程，而 ThinkPHP 日志写入是高频低延迟行为，二者耦合后容易出现丢日志、重复消费、启动延迟等问题。Filebeat 是 Go 写的轻量采集器，专为日志文件设计，状态管理更可靠。
实操建议：用 Filebeat 收集 → Kafka/Redis → Logstash 加工 → Elasticsearch。
- Filebeat 的
harvester_limit设为 1，避免同时打开太多日志文件句柄 - 在 Filebeat output 到 Kafka 时，用
topic => "tp-log-%{[log.file.path]}"区分不同日志类型，方便 Logstash 后续分流处理 - Logstash 接收端不再用
fileinput，改用kafkainput，彻底规避文件锁、权限、轮转识别等坑
真正难的不是配置语法，而是让 PHP 写日志、Filebeat 读日志、Logstash 解析这三者在高并发下的节奏一致——任何一环 buffer 满了、超时了、重试了，日志就断或重复。盯住 filebeat.metrics 和 Logstash 的 dead_letter_queue，比调 grok pattern 重要得多。
