rsyslog 的 imfile 模块通过语义包装将非标准业务日志接入 syslog 生态,不修改原始内容,而是配置读取方式(multi-line、权限)、标识来源(Tag/Facility/Severity)、注入元数据(模板)、适配轮转(StateFile/USR1 重载)。

用 rsyslog 的 imfile 模块把非标准业务日志转成标准 syslog 流,关键不是“强行格式化”,而是让 rsyslog 知道怎么读、怎么标、怎么传。它本身不改日志内容,而是加一层语义包装,让原始文本能被 syslog 生态(过滤、转发、入库、告警)识别和处理。
确保日志文件符合 imfile 基本要求
imfile 只处理“标准文本文件”:每行以换行符结束,内容由可打印字符组成。它自动跳过空行,但对以下情况需提前干预:
- 若日志含二进制数据、控制字符或 UTF-8 BOM 头,rsyslog 可能解析失败或截断——建议用 logrotate 配合 convert=utf-8 或前置脚本清理
- 多行日志(如 Java 异常堆栈)默认会被拆成多条 syslog 消息——需启用 multi-line support,通过 startmsg.regex 定义新消息起始模式,例如 ^\d{4}-\d{2}-\d{2}
- 日志文件权限需允许 rsyslog 进程(通常是 root 或 syslog 用户)读取,否则模块静默跳过
用 input(type="imfile") 显式声明监控行为
不要依赖旧式 $InputFile* 指令(已弃用),统一使用新版 module + input 语法。核心是把业务日志“注册”为一个 syslog 输入源,并赋予它身份标识:
- Tag:必须设置,如 Tag="app-order",它会成为 syslog 消息的 programname 字段,后续规则靠它区分来源
- Facility 和 Severity:按业务重要性映射,例如订单服务错误写入 Facility="local4", Severity="err",避免混用 authpriv 或 mail 等系统设施
- File:支持绝对路径和通配符(如 /var/log/myapp/*.log),但每个 input 块只监控一个文件或一组同构文件
通过模板和规则引擎注入结构化上下文
原始日志没时间戳或主机名?imfile 不生成,但可以补。利用 rsyslog 的模板机制,在转发前注入元数据:
- 定义模板,把 $.filename、$now、$fromhost-ip 等属性拼进消息体,例如:
template(name="AppLogFormat" type="string" string="%timestamp% %fromhost-ip% %$!metadata!filename% [%programname%] %msg%") - 在规则中调用该模板:
if $programname == 'app-order' then /var/log/central/app-order.log;AppLogFormat - 这样即使原始日志只有 "order timeout",落地后也是带时间、IP、文件名的完整 syslog 行
适配文件轮转与进程生命周期
业务日志常配合 logrotate,而 imfile 依赖状态文件记录读取位置。若旋转时 rsyslog 未运行,老文件剩余内容会丢失:
- 确保 logrotate 的 postrotate 脚本中包含 kill -USR1 $(cat /var/run/rsyslogd.pid 2>/dev/null),触发 rsyslog 重载并继续读新文件
- 避免使用 copytruncate —— 它不清空 inode,imfile 会误判为同一文件继续读,导致重复或错位
- 检查 StateFile 参数是否唯一,多个 input 共享同一 statefile 会导致位置混乱;推荐显式指定,如 StateFile="app-order-state"

















