【Hadoop实训】Flume系统负载均衡测试

 一、搭建并配置Flume机器

        在master上，执行：

scp -r /export/servers/flume slave1:/export/servers/

scp -r /export/servers/flume slave2:/export/servers/

scp /etc/profile slave1:/etc/profile

scp /etc/profile slave2:/etc/profile

        执行完上述指令后，分别在slave1和slave2上机器人运行”source /etc/profile”指令，立即刷新配置。

二、配置Flume采集方案

• 在master上配置第一级采集配置，在/export/servers/flume/conf目录下编写采集方案exec-avro.conf。

• 在slave1和slave2上配置第二级Agent的采集方案，分别在slave1和slave2的/export/servers/flume/conf目录下编写各自的采集方案avro-logger.conf.

三、启动Flume系统

        1、在slave1上操作，进入目录：cd /export/servers/flume/ 执行命令：

flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console

如果出现这种错误   把 --name a1 提前到第一个 conf/ 后面。

        2、在slave2上操作，进入目录：cd /export/servers/flume/ 执行命令：

flume-ng agent --conf conf/ --conf-file conf/avro-logger.conf --name a1 -Dflume.root.logger=INFO,console

       3、 在master上操作，进入目录：cd /export/servers/flume/ 执行命令：

flume-ng agent --conf conf/ --conf-file conf/exec-avro.conf --name a1 -Dflume.root.logger=INFO,console

 此时：

slave1 终端上信息显示:

slave终端信息显示：

四、Flume系统负载均衡测试

重新打开master一个终端，创建/root/logs目录

mkdir /root/logs

输入shell 脚本：

while true;do echo “access access …” >>/root/logs/123.log;sleep 1;done

 结果

     执行完上述指令后，查看slave1和slave2中启动Flume的终端窗口，可以发现两台机器上的Flume系统几乎是轮流采集并打印出收集得到的数据信息。