CentOS Filebeat集群部署方案

5月 4th, 2025

在CentOS上部署Filebeat集群涉及多个步骤，包括安装、配置、启动以及监控等。以下是一个详细的部署方案：

1. 安装前的准备工作

更新系统：确保系统是最新的。
```
sudo yum update -y
```
安装必要的软件包：例如 yum-utils。
```
sudo yum install -y yum-utils
```

2. 下载Filebeat

从Elastic官方网站下载适用于CentOS的Filebeat软件包。例如，下载Filebeat 7.x.x版本。

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.x.x-linux-x86_64.tar.gz

3. 解压Filebeat

解压下载的Filebeat软件包到指定目录。

tar -zxvf filebeat-7.x.x-linux-x86_64.tar.gz -C /opt/

4. 配置Filebeat

进入解压后的Filebeat目录，编辑 filebeat.yml 配置文件。

cd /opt/filebeat
vim filebeat.yml

基本配置示例：

filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /var/log/*.log

output.elasticsearch:
  hosts:
  - "elasticsearch-host:9200"
  index: "filebeat-%{yyyy.MM.dd}"

setup.kibana:
  host: "kibana-host:5601"

5. 启动Filebeat

使用以下命令启动Filebeat，并设置为系统服务以便开机自启动。

nohup ./filebeat -e -c filebeat.yml &

创建Systemd服务文件以便管理Filebeat服务。

sudo nano /lib/systemd/system/filebeat.service

添加以下内容：

[Unit]
Description=Filebeat
Wants=network-online.target
After=network-online.target

[Service]
User=root
Group=root
ExecStart=/opt/filebeat/filebeat -e -c /opt/filebeat/filebeat.yml

[Install]
WantedBy=multi-user.target

重新加载Systemd配置并启动Filebeat服务。

sudo systemctl daemon-reload
sudo systemctl enable filebeat
sudo systemctl start filebeat

6. 验证部署

访问Kibana界面确认Filebeat是否成功将日志数据发送到Elasticsearch。

7. 高可用集群配置

为了实现Filebeat的高可用性，需要在多个节点上部署Filebeat实例，并配置集群模式。

在Kubernetes中部署Filebeat集群：

创建DaemonSet：在Kubernetes集群中创建一个DaemonSet，确保每个节点上都运行一个Filebeat实例。
配置Discovery：在 filebeat.yml 中配置 discovery.zen.minimum_master_nodes 以确保集群中的Filebeat实例能够相互发现和协作。