快速掌握源码部署Filebeat
文章目录
- 1. 裸金属安装
- 1.1 压缩包方式安装
- 1.2 yum方式安装
- 2. docker安装
- 3. K8s安装
项目使用了Filebeat，现在需要运行在ARM架构的服务器上，但是Filebeat官方没有提供，需要自己编译一份
filebeat等组件的源码地址 https://github.com/elastic/beats ，可以选择需要的版本，然后下载ZIP包来使用，也可以按照下面步骤直接git下载
编译filebeat需要go语言环境，先安装go环境
#创建工作目录
mkdir -p /opt/gowork
#安装go和git 命令
yum install -y go git
#设置环境变量
echo "export GOROOT=/usr/lib/golang" >> /etc/profile
echo "export GOBIN=\$GOROOT/bin" >> /etc/profile
echo "export GOPATH=/opt/gowork" >> /etc/profile
echo "export PATH=\$PATH:\$GOROOT:\$GOBIN:\$GOPATH" >> /etc/profile
#刷新环境变量
. /etc/profile
#测试go是否成功，查看env中GOPATH是否生效
go version
go env
mkdir -p ${GOPATH}/src/github.com/elastic
cd ${GOPATH}/src/github.com/elastic
# 我需要的6.8版本，根据实际情况确定分支
git clone -b 6.8 https://github.com/elastic/beats.git
下载完之后进入filebeat目录，如果编译其他组件就进其他目录，然后执行编译命令
cd beats/filebeatmake
我们启动一下试试，正常使用会根据需要修改filebeat.yml，我们现在只试试能不能正常启动，简单改了，将log的enabled改成true，其他都默认了
K8s部署filebeat
1. 裸金属安装
注：以linux系统为例，filebeat版本为7.17
1.1 压缩包方式安装
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.5-linux-x86_64.tar.gz
tar xzvf filebeat-7.17.5-linux-x86_64.tar.gz -C /root/
mv /root/filebeat-7.17.5 /usr/local/filebeat
启动
/usr/local/filebeat/bin/filebeat -e -c filebeat.yml
1.2 yum方式安装
导入KEY
sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
创建elastic.repo文件
cd /etc/yum.repo.d/
vim elastic.repo
[elastic-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
安装
sudo yum install filebeat -y
启动
systemctl start filebeat
2. docker安装
拉取filebeat镜像
docker pull docker.elastic.co/beats/filebeat:7.13.3
下载filebeat配置文件
curl -L -O https://raw.githubusercontent.com/elastic/beats/7.13/deploy/docker/filebeat.docker.yml
启动容器
docker run docker.elastic.co/beats/filebeat:7.13.3 \
setup -E setup.kibana.host=x.x.x.x:5601 \
-E output.elasticsearch.hosts=["x.x.x.x:9200"]
说明：执行setup命令，安装filebeat的index
docker run -d --name=filebeat \
--user=root \
-v /filebeat/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro \
-v /var/run/docker.sock:/var/run/docker.sock:ro \
-v /data/log:/logs/tomcat \
docker.elastic.co/beats/filebeat:7.13.3 filebeat -e -strict.perms=false
说明：一定要映射日志文件路径，区分宿主机日志路径（/data/log）和容器日志路径（/logs/tomcat）
3. K8s安装
下载manifest file
curl -L -O https://raw.githubusercontent.com/elastic/beats/7.17/deploy/kubernetes/filebeat-kubernetes.yaml
修改文件
Filebeat的输出为es，将以下es地址修改为你的es集群地址
- name: ELASTICSEARCH_HOST
value: elasticsearch
- name: ELASTICSEARCH_PORT
value: "9200"
- name: ELASTICSEARCH_USERNAME
value: elastic
- name: ELASTICSEARCH_PASSWORD
value: changeme
以root用户运行容器
securityContext:
runAsUser: 0
privileged: true
Filebeat账户授权
oc adm policy add-scc-to-user privileged system:serviceaccount:kube-system:filebeat
部署
kubectl create -f filebeat-kubernetes.yaml
查看状态
$ kubectl --namespace=kube-system get ds/filebeat
NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE-SELECTOR AGE
filebeat 32 32 0 32 0 <none>