CentOS Filebeat日志格式转换技巧

5月 4th, 2025

在CentOS上使用Filebeat进行日志格式转换可以通过配置Filebeat的处理器来实现。以下是一些技巧和步骤，帮助你进行日志格式的转换。

使用 `decode_json_fields` 处理器

Filebeat的 processors 部分允许你定义日志输出格式。例如，如果你想将日志输出格式设置为JSON，可以添加以下内容：

processors:
  - decode_json_fields:
      fields: ["message"]
      target: ""
      overwrite_keys: true

这里，decode_json_fields 处理器将解析 message 字段中的JSON数据，并将其添加到Filebeat事件中。

自定义日志字段

如果你想自定义日志输出的字段，可以在 processors 部分下添加 add_fields 或 mutate 处理器。例如，要将自定义字段 my_custom_field 添加到每个事件中，可以使用以下配置：

processors:
  - add_fields:
      fields:
        my_custom_field: "my_custom_value"

使用脚本进行复杂格式转换

对于更复杂的日志格式转换，可以使用Filebeat的自定义脚本功能。例如，以下配置展示了如何将和;分隔的键值对格式日志转换为JSON格式的日志：

filebeat.prospectors:
  - paths:
    - /path/to/logfile.log
  processors:
    - decode_json_fields:
        fields: ["message"]
        target: ""
        overwrite_keys: true
    - when:
        regexp:
          message:
            script:
              lang: javascript
              id: format_kv_logs
      file: {path.home}/modules/filebeat/kv-formatting.js

在这个配置中，第一个processor是解析非指定的JSON字段格式日志的processor，第二个processor则是针对和;分隔的键值对形式的日志，使用了自定义的脚本进行格式转换。

示例脚本 `kv-formatting.js`

function process(event) {
  if (event.get("message").match(/^\s*\w+\s*=\s*.*$/)) {
    const newMessage = event.get("message").split(";").join(',\n').split("").join(event.put("message", newMessage));
    event.put("message", newMessage);
  }
}