生产环境中间件服务集群搭建-zk-activeMQ-kafka-reids-nacos
环境：
系统：centos7.9
工作目录：/home
安装包位置：/home/op/tools
1.系统初始化
安装依赖环境
yum -y install net-tools vim screen telnet vim gcc gcc-c++修改主机名，为另外两台添加hosts文件
[root@mq01 conf]# hostnamectl set-hostname mq01
[root@mq01 conf]# vim /etc/hosts
192.10.30.11 mq01
192.10.30.12 mq02
192.10.30.13 mq03上传所有服务器安装包
[root@mq01 tools]# ll /home/op/tools/
总用量 459144
-rw-r--r-- 1 root root 53675823 1月 5 16:18 apache-activemq-5.13.2-bin.tar.gz
-rw-r--r-- 1 root root 9890010 1月 5 16:18 apache-zookeeper-3.5.10-bin.tar.gz
-rw-r--r-- 1 root root 179476803 1月 5 16:19 java1-8.tar.gz
-rw-r--r-- 1 root root 107000763 1月 5 16:21 kafka_2.12-3.5.0.tgz
-rw-r--r-- 1 root root 117593603 1月 5 16:19 nacos-server-2.0.3.tar.gz
-rw-r--r-- 1 root root 2508776 1月 5 16:18 redis-6.2.7.tar.gz进行解压二进制包
tar -zxf apache-activemq-5.13.2-bin.tar.gz
tar -zxf apache-zookeeper-3.5.10-bin.tar.gz
tar -zxf java1-8.tar.gz
tar -zxf nacos-server-2.0.3.tar.gz
tar -zxf redis-6.2.7.tar.gz 注意：redis源码包进行编译
tar -zxf redis-6.2.7.tar.gz
cd redis-6.2.7
make
make install PREFIX=/wespace/redis-7001
make install PREFIX=/wespace/redis-7002进行将所有服务文件进行重命名到工作目录下
mv java /wespace/java
mv apache-activemq-5.13.2 /wespace/activeMQ
mv apache-zookeeper-3.5.10-bin /wespace/zookeeper
mv nacos /wespace/nacos
mv kafka_2.12-3.5.0 /wespace/kafka2.准备Java环境
配置java环境变量
[root@mq01 wespace]# vi /etc/profile
export JAVA_HOME=/wespace/java/jdk1.8.0_111
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
export PATH=$JAVA_HOME/bin:$PATH
[root@mq01 wespace]# source /etc/profile
测试
[root@mq01 wespace]# java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)3.部署zookeeper集群
1.拷贝其他服务zookeeper配置文件进行修改
[root@mq01 conf]# pwd
/wespace/zookeeper/conf
[root@mq01 conf]# ll
总用量 16
-rw-r--r-- 1 1000 1000 535 5月 19 2022 configuration.xsl
-rw-r--r-- 1 1000 1000 2712 5月 19 2022 log4j.properties
-rw-r--r-- 1 root root 224 1月 5 17:51 zoo.cfg
-rw-r--r-- 1 1000 1000 922 5月 19 2022 zoo_sample.cfg2.根据本机情况修改zoo.cfg，和创建data，log目录，myid文件
注意：myid是唯一的，第一台为1，第二台2
[root@mq01 zookeeper]# mkdir log data
[root@mq01 conf]# vi zoo.cfg
dataDir=/wespace/zookeeper/data
dataLogDir=/wespace/zookeeper/log
tickTime=2000
initLimit=10
syncLimit=5
clientPort=12181
server.1=192.10.30.11:12888:13888
server.2=192.10.30.12:12888:13888
server.3=192.10.30.13:12888:13888
[root@mq01 zookeeper]# echo '1' > data/myid 3.将当前配置文件进行拷贝到两台服务器
注意：在另外两台修服务上修改myid
scp -Cr zoo.cfg root@192.10.30.12:/wespace/zookeeper/conf/
scp -Cr zoo.cfg root@192.10.30.13:/wespace/zookeeper/conf/
echo '2' > data/myid
echo '3' > data/myid 4.启动zookeeper
/wespace/zookeeper/bin/zkServer.sh start
ps -ef |grep zoo
lsof -i:128884.部署activeMQ集群
1.拷贝配置文件
[root@mq01 conf]# ll -rt
总用量 76
-rw-r--r-- 1 root users 665 3月 2 2016 client.ts
-rw-r--r-- 1 root users 1357 3月 2 2016 client.ks
-rw-r--r-- 1 root users 665 3月 2 2016 broker.ts
-rw-r--r-- 1 root users 592 3月 2 2016 broker-localhost.cert
-rw-r--r-- 1 root users 1370 3月 2 2016 broker.ks
-rw-r--r-- 1 root users 961 3月 2 2016 users.properties
-rw-r--r-- 1 root users 1016 3月 2 2016 login.config
-rw-r--r-- 1 root users 1207 3月 2 2016 logging.properties
-rw-r--r-- 1 root users 3084 3月 2 2016 log4j.properties
-rw-r--r-- 1 root users 964 3月 2 2016 jmx.password
-rw-r--r-- 1 root users 965 3月 2 2016 jmx.access
-rw-r--r-- 1 root users 1087 3月 2 2016 jetty-realm.properties #账号配置文件
-rw-r--r-- 1 root users 962 3月 2 2016 groups.properties
-rw-r--r-- 1 root users 1121 3月 2 2016 credentials.properties
-rw-r--r-- 1 root users 1172 3月 2 2016 credentials-enc.properties
-rw-r--r-- 1 root users 6117 1月 5 18:06 activemq.xml #activeMQ集群zk配置文件
-rw-r--r-- 1 root users 8183 1月 5 18:09 jetty.xml #activeMQ配置文件
2.修改jetty.xml配置文件
[root@mq01 conf]# vim jetty.xml
114 <property name="host" value="192.10.30.11"/> #修改为当前主机IP地址
115 <property name="port" value="8161"/> #修改端口号3.修改activemq.xml配置文件
[root@mq01 conf]# vim activemq.xml
40 <broker xmlns="http://activemq.apache.org/schema/core" brokerName="localhost" dataDirectory="${activemq.data}" schedulerSupport="true"> #schedulerSupport="true"启动延迟队列
81 <persistenceAdapter>
82 <replicatedLevelDB directory="${activemq.data}/leveldb" replicas="3" bind="tcp://0.0.0.0:61617" zkAddress="192.10.30.11:12181,192.10.30.12:12181,192.10.30.13:12181" hostname="mq01" zkPath="/home/data/activeMQ/leveldb-stores"/>
83 </persistenceAdapter>
#修改zookeeper集群地址和端口 修改集群存放配置文件位置 zkAddress zkPath4.修改jetty-realm.properties配置文件
[root@mq01 conf]# vim jetty-realm.properties
admin: admin, admin
user: user, user5.将三个配置文件进行拷贝到另外两台服务器中
scp -Cr jetty-realm.properties root@192.10.30.12:/wespace/activeMQ/conf/
scp -Cr jetty-realm.properties root@192.10.30.13:/wespace/activeMQ/conf/
scp -Cr activemq.xml root@192.10.30.12:/wespace/activeMQ/conf
scp -Cr activemq.xml root@192.10.30.13:/wespace/activeMQ/conf
scp -Cr jetty.xml root@192.10.30.12:/wespace/activeMQ/conf
scp -Cr jetty.xml root@192.10.30.13:/wespace/activeMQ/conf
注意：修改配置文件主机IP6.开启activemq
/wespace/activeMQ/bin/activemq start
ps -ef | grep active5.部署kafka集群
1.修改kafka配置文件
[root@mq01 config]# pwd
/wespace/kafka/config
[root@mq01 config]# vim server.properties
broker.id=1 #唯一ID
port=9092
host.name=localhost
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/wespace/kafka/log
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.retention.check.interval.ms=300000
zookeeper.connect=192.10.30.11:12181,192.10.30.12:12181,192.10.30.13:12181 #zookeeper集群IP
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://192.10.30.11:9092 #本机IP地址2.将配置文件进行拷贝到另外两台服务器
#注意拷贝到其他主机后
1.修改ID
2.确认端口号
3.确认zkIP和端口
4.访问本机IP和端口
3.进行守护进程启动
/home/kapai/kafka/bin/kafka-server-start.sh -daemon /home/kapai/kafka/config/server.properties6.部署nacos集群
1.修改nacos主配置文件
[root@mq01 conf]# pwd
/wespace/nacos/conf
[root@mq01 conf]# vi application.properties
19 server.servlet.contextPath=/nacos
20 ### Default web server port:
21 server.port=8848 #端口号
35 ### Count of DB:
36 db.num=1 #指定数据库个数
42 db.url.0=jdbc:mysql://192.30.10.99:3316/nacos?characterEncoding=utf8&connect Timeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=UTC
43 db.user.0=nacos #连接数据库用户名
44 db.password.0=2023Nacos!!! #数据库连接密码2.修改集群文件
cp cluster.conf.example cluster.conf
[root@mq01 conf]# vim cluster.conf
192.10.30.11:8848
192.10.30.12:8848
192.10.30.13:88483.进行将配置文件拷贝到另外两台服务器
4.启动nacos服务
/wespace/nacos/bin/startup.sh
7.部署redis群集
环境:三台服务器 两个实例
端口：7001 7002
1.创建工作目录
cd /wespace/redis-7001/
mkdir conf data log
cd /wespace/redis-7002/
mkdir conf data log2.编写redis配置文件
cd /wepsace/redis-7001/etc/
vim redis-7001.conf
daemonize yes
pidfile /wespace/redis-7001/redis-7001.pid
port 7001
bind 192.10.30.11
#requirepass 123456 设置redis密码
timeout 0
tcp-keepalive 0
loglevel notice
logfile /wespace/redis-7001/log/redis.log
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
dir /wespace/redis-7001/data
slave-serve-stale-data yes
slave-read-only yes
repl-disable-tcp-nodelay no
slave-priority 100
appendonly yes
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
lua-time-limit 5000
maxclients 65535
slowlog-log-slower-than 10000
slowlog-max-len 128
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-entries 512
list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
maxmemory 20480mb
maxmemory-policy allkeys-lru
cluster-enabled yes
cluster-config-file nodes-7001.conf
cluster-node-timeout 15000
cluster-require-full-coverage yes
cluster-migration-barrier 13.配置redis-7002
cp redis-7001.conf ../../redis-7002/conf/
cd ../../redis-7002/conf
mv redis-7001.conf redis-7002.conf
vim redis-7002.conf注意：修改配置文件与文件不同的字段如pid，log，目录
4.进行将两个配置文件进行拷贝到另外两台服务器上
#注意
#1.修改IP
#2.端口
#3.日志pid等存放路径
5.启动redis，进行确认
/wespace/redis-7001/bin/redis-server /wespace/redis-7001/conf/redis-7001.conf
/wespace/redis-7002/bin/redis-server /wespace/redis-7002/conf/redis-7002.conf
netstat -anptl | grep redis
ps -ef |grep redis6.自动搭建集群模式
注意：3.以下低版本redis需要手动进行部署集群或者安装第三方工具进行部署
/wespace/redis-7001/bin/redis-cli --cluster create --cluster-replicas 1 192.10.30.11:7001 192.10.30.12:7001 192.10.30.13:7001 192.10.30.11:7002 192.10.30.12:7002 192.10.30.13:70027.检测集群redis状态
/wespace/redis-7001/bin/redis-cli --cluster check 192.10.30.11:7001 #更换IP和端口8.连接redis增加key测试cluster分布，和查看cluster的关系和状态
#注意：/wespace/redis-7001/bin/redis-cli -h 192.10.30.11 -p 7001 #这种方式只适用于主从redis或者单机redis等情况，否则连接添加key测试会报错
#192.10.30.11:7001> set k1 v1
#(error) MOVED 12706 192.10.30.13:7001
/wespace/redis-7001/bin/redis-cli -h 192.10.30.11 -p 7001 -c #集群连接方式 -c
set k1 v1 #添加key
keys * #查看所有key
cluster nodes #查看集群状态