当前位置： 首页 > article >正文

Nginx +Tomcat 负载均衡，动静分离集群

article 2025/2/26 23:16:41

介绍

  • 通常情况下，一个 Tomcat 站点由于可能出现单点故障及无法应付过多客户复杂多样的请求等情况，不能单独应用于生产环境下，所以我们需要一套更可靠的解决方案

  • Nginx 是一款非常优秀的http服务软件，它能够支持高达 50000 个并发连接数的响应，拥有强大的静态资源处理能力，运行稳定，并且内存、CPU 等系统资源消耗非常低

  • 目前很多大型网站都应用 Nginx 服务器作为后端网站的反向代理及负载均衡器，来提升整个站点的负载并发能力

正向代理和反向代理

正向代理：是一个位于客户端和原始服务器之间的服务器，为了从原始服务器取得内容，客户端向代理发送一个请求并指定目标（原始服务器），然后代理向原始服务器转交请求并将获得的内容返回给客户端。客户端才能使用正向代理

反向代理：位于用户与目标服务器之间的服务器，但是对于用户而言，反向代理服务器就相当于目标服务器，即用户直接访问反向代理服务器就可以获得目标服务器的资源。同时，用户不需要知道目标服务器的地址，也无须在用户端作任何设定。
反向代理服务器通常可用来作为Web加速，即使用反向代理作为Web服务器的前置机来降低网络和服务器的负载，提高访问效率。

反向代理服务器就类似于前台，客户发送请求，反向代理服务器找到合适的服务器

Nginx支持的代理类型

  • 正向代理：代理客户端，代理缓存（缓存到本地）
  • 反向代理：代理服务端

7层反向代理：基于http、 https、 mail等七层协议的反向代理

  • 使用场景：动静分离
  • 特点：功能强大，但转发性能较4层偏低
  • 配置：在http块里设置upstream后端服务器池；在server块里用location匹配动态页面路径，使用proxy_pass http://服务器池名 进行七层协议（http协议）转发

4层反向代理：基于IP+ ( tcp或者udp)端口的代理

  • 使用场景：负载均衡器/负载调度器，做服务器集群的访问入口
  • 特点：只能根据IP+端口转发，但转发性能较好
./configure --with-stream
在http块同一层上面配置stream模块，在stream模块中的upstream模块定义服务器组名和服务器列表，
在stream模块中的server模块配置监听的IP:端口，主机名和proxy_pass 服务器组名

七层反向代理：
http {
    upstream backerserver {
        server IP1:PORT1 [ weight= fail= ...];
        server IP2: PORT2[ weight= fail= ...];
        ......
    }

    server {
        listen 80;
        server_name XXX;
        location ~ 正则表达式 {
            proxy_pass http://backerserver;
            ......
        }
    }
}

四层反向代理：
http {
    upstream backerserver {
        server IP1:PORT1 [ weight= fail= ...];
        server IP2: PORT2[ weight= fail= ...];
        ......
    }

    server {
        listen 80;
        server_name XXX;
        proxy_pass appserver;
    }
}

负载均衡和动静分离

Nginx反向代理实现负载均衡

Nginx配置反向代理的主要参数

  • upstream服务池名{}
    • 配置后端服务器池，以提供响应数据
  • proxy_pass http://服务池名
    • 配置将访问请求转发给后端服务器池的服务器处理

Nginx 负载均衡调度模式（算法）

  • rr 负载均衡模式（轮询）： 每个请求按时间顺序逐一分配到不同的后端服务器，如果超过了最大失败次数后（max_fails，默认1），在失效时间内(fail_timeout，默认10秒)，该节点失效权重变为0，超过失效时间后，则恢复正常，或者全部节点都为down后，那么将所有节点都恢复为有效继续探测，一般来说rr可以根据权重来进行均匀分配。
    （每个请求按时间顺序逐一分配到不同的后端服务，如果后端某台服务器死机，自动刷除故障系统，使用户访问不受影响）

  • 加权轮询： 轮询基础上设置weight值，weight的值越大分配到的权限概率越高，主要用于后端每台服务器性能不均匀情况，或者仅仅为在主从的情况下设置不同的权重值，达到合理利用主机资源

  • least_conn 最少连接： 优先将客户端请求调度到当前连接最少的服务器。

  • ip_hash 负载均衡模式： 每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题，但是ip_hash会造成负载不均，有的服务请求接受多，有的服务请求接受少，所以不建议采用ip_hash模式，session 共享问题可用后端服务的 session 共享代替 nginx 的 ip_hash（使用后端服务器自身通过相关机制保持session同步）。

  • fair（第三方）负载均衡模式： 按后端服务器的响应时间来分配请求，响应时间短的优先分配。

  • url_hash（第三方）负载均衡模式： 基于用户请求的uri做hash。和ip_hash算法类似，是对每个请求按url的hash结果分配，使每个URL定向到同一个后端服务器，但是也会造成分配不均的问题，这种模式后端服务器为缓存时比较好。

Nginx动静分离实现原理

动静分离原理：服务端接收来自客户端的请求中，既有静态资源也有动态资源，静态资源由Nginx提供服务，动态资源Nginx转发至后端

Nginx静态处理优势

  • Nginx处理静态页面的效率远高于Tomcat的处理能力
  • 若Tomcat的请求量为1000次，则Nginx的请求量为6000次
  • Tomcat每秒的吞吐量为0.6M,Nginx的每秒吞吐量为3.6M
  • Nginx处理静态资源的能力是Tomcat处理的6倍

补充

  • 吞吐量：是指系统处理客户请求数量的总和，可以指网络上传输数据包的总和，也可以指业务中客户端与服务器交互数据量的总和。

Nginx+Tomcat负载均衡、动静分离

以Nginx作为负载均衡器，Tomcat作为应用服务器
Nginx处理静态资源页面的请求
动静分离实现：nginx使用location去正则匹配用户的访问路径的前缀或者后缀去判断接收的请求是静态的还是动态的，静态资源请求在 nginx本地进行处理响应，动态页面请求通过反向代理转发给后端应用服务器

Nginx+Tomcat负载均衡、动静分离
Nginx 服务器：192.168.126.25:80
Tomcat服务器1：192.168.126.26:8080
Tomcat服务器2：192.168.126.22:8080 192.168.126.22:8081

1.部署Nginx 负载均衡器

systemctl stop firewalld
setenforce 0

yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c++ make

useradd -M -s /sbin/nologin nginx

cd /opt
tar zxvf nginx-1.12.0.tar.gz -C /opt/
cd nginx-1.12.0/
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-file-aio --with-http_stub_status_module --with-http_gzip_static_module --with-http_flv_module --with-stream

make -j 2 && make install       #指定两核编译
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/

vim /lib/systemd/system/nginx.service
[Unit]
Description=nginx
After=network.target
[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecrReload=/bin/kill -s HUP $MAINPID
ExecrStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true
[Install]
WantedBy=multi-user.target

chmod 754 /lib/systemd/system/nginx.service
systemctl start nginx.service
systemctl enable nginx.service

2.部署2台Tomcat 应用服务器 

#Tomcat1
systemctl stop firewalld
setenforce 0

tar xf jdk-8u91-linux-x64.tar.gz -C /usr/local/

vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

source /etc/profile

tar zxvf apache-tomcat-8.5.16.tar.gz

mv /opt/apache-tomcat-8.5.16/ /usr/local/tomcat

/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh

netstat -ntap | grep 8080
#Tomcat2
cd /opt
rpm -qpl jdk-8u201-linux-x64.rpm 
rpm -ivh jdk-8u201-linux-x64.rpm 
java -version

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

tar xf apache-tomcat-9.0.16.tar.gz
mkdir /usr/local/tomcat
mv apache-tomcat-9.0.16 /usr/local/tomcat/tomcat1
cp -a /usr/local/tomcat/tomcat1 /usr/local/tomcat/tomcat2

vim /etc/profile.d/tomcat.sh
#tomcat1
export CATALINA_HOME1=/usr/local/tomcat/tomcat1
export CATALINA_BASE1=/usr/local/tomcat/tomcat1
export TOMCAT_HOME1=/usr/local/tomcat/tomcat1

#tomcat2
export CATALINA_HOME2=/usr/local/tomcat/tomcat2
export CATALINA_BASE2=/usr/local/tomcat/tomcat2
export TOMCAT_HOME2=/usr/local/tomcat/tomcat2
------------------------------
source /etc/profile.d/tomcat.sh

vim /usr/local/tomcat/tomcat2/conf/server.xml
<Server port="8006" shutdown="SHUTDOWN">		#22行，修改Server prot，默认为8005 -> 修改为8006
<Connector port="8081" protocol="HTTP/1.1"		#69行，修改Connector port，HTTP/1.1  默认为8080 -> 修改为8081
<Connector port="8010" protocol="AJP/1.3" redirectPort="8443" />	#116行，修改Connector port AJP/1.3，默认为8009 -> 修改为8010
------------------------------
第一个连接器默认监听8080端口，负责建立HTTP连接。在通过浏览器访问Tomcat服务器的Web应用时，使用的就是这个连接器。

第二个连接器默认监听8009端口，负责和其他的HTTP服务器建立连接。在把Tomcat与其他HTTP服务器集成时，就需要用到这个连接器。
------------------------------

#修改各 tomcat 实例中的 startup.sh 和 shutdown.sh 文件，添加 tomcat 环境变量

vim /usr/local/tomcat/tomcat1/bin/startup.sh 
#------------------------------
# Start Script for the CATALINA Server
#------------------------------
##添加以下内容
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1


vim /usr/local/tomcat/tomcat1/bin/shutdown.sh
#------------------------------
# Stop script for the CATALINA Server
#------------------------------
export CATALINA_BASE=$CATALINA_BASE1
export CATALINA_HOME=$CATALINA_HOME1
export TOMCAT_HOME=$TOMCAT_HOME1


vim /usr/local/tomcat/tomcat2/bin/startup.sh 
#------------------------------
# Start Script for the CATALINA Server
#------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2

vim /usr/local/tomcat/tomcat2/bin/shutdown.sh
#------------------------------
# Stop script for the CATALINA Server
#------------------------------
export CATALINA_BASE=$CATALINA_BASE2
export CATALINA_HOME=$CATALINA_HOME2
export TOMCAT_HOME=$TOMCAT_HOME2

/usr/local/tomcat/tomcat1/bin/startup.sh 
/usr/local/tomcat/tomcat2/bin/startup.sh 
netstat -natp | grep java

3.动静分离配置

#Tomcat1 server 配置
mkdir /usr/local/tomcat/webapps/test
vim /usr/local/tomcat/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test1 page</title>   #指定为 test1 页面
</head>
<body>
<% out.println("动态页面 1,http://www.test1.com");%>
</body>
</html>


vim /usr/local/tomcat/conf/server.xml
#由于主机名 name 配置都为 localhost，需要删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
	<Context docBase="/usr/local/tomcat/webapps/test" path="" reloadable="true">
	</Context>
</Host>

/usr/local/tomcat/bin/shutdown.sh 
/usr/local/tomcat/bin/startup.sh

#Tomcat2 server 配置
mkdir /usr/local/tomcat/tomcat1/webapps/test /usr/local/tomcat/tomcat2/webapps/test

vim /usr/local/tomcat/tomcat1/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test2 page</title>   #指定为 test2 页面
</head>
<body>
<% out.println("动态页面 2,http://www.test2.com");%>
</body>
</html>


vim /usr/local/tomcat/tomcat1/conf/server.xml
#删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
	<Context docBase="/usr/local/tomcat/tomcat1/webapps/test" path="" reloadable="true" />
</Host>

/usr/local/tomcat/tomcat1/bin/shutdown.sh 
/usr/local/tomcat/tomcat1/bin/startup.sh 


vim /usr/local/tomcat/tomcat2/webapps/test/index.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<head>
<title>JSP test3 page</title>   #指定为 test3 页面
</head>
<body>
<% out.println("动态页面 3,http://www.test3.com");%>
</body>
</html>

vim /usr/local/tomcat/tomcat2/conf/server.xml
#删除前面的 HOST 配置
<Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true" xmlValidation="false" xmlNamespaceAware="false">
	<Context docBase="/usr/local/tomcat/tomcat2/webapps/test" path="" reloadable="true" />
</Host>

/usr/local/tomcat/tomcat2/bin/shutdown.sh 
/usr/local/tomcat/tomcat2/bin/startup.sh 
#Nginx server 配置
#准备静态页面和静态图片
echo '<html><body><h1>这是静态页面</h1></body></html>' > /usr/local/nginx/html/index.html
mkdir /usr/local/nginx/html/img
cp /root/game.jpg /usr/local/nginx/html/img

vim /usr/local/nginx/conf/nginx.conf
......
http {
......
	#gzip on;
	
	#配置负载均衡的服务器列表，weight参数表示权重，权重越高，被分配到的概率越大
	upstream tomcat_server {
		server 192.168.126.26:8080 weight=1;
		server 192.168.126.22:8080 weight=1;
		server 192.168.126.22:8081 weight=1;
	}
	
	server {
		listen 80;
		server_name www.abc.com;
	
		charset utf-8;
	
		#access_log logs/host.access.log main;
		
		#配置Nginx处理动态页面请求，将 .jsp文件请求转发到Tomcat 服务器处理
		location ~ .*\.jsp$ {
			proxy_pass http://tomcat_server;
#设置后端的Web服务器可以获取远程客户端的真实IP
##设定后端的Web服务器接收到的请求访问的主机名（域名或IP、端口），默认HOST的值为proxy_pass指令设置的主机名。如果反向代理服务器不重写该请求头的话，那么后端真实服务器在处理时会认为所有的请求都来自反向代理服务器，如果后端有防攻击策略的话，那么机器就被封掉了。
			proxy_set_header HOST $host;
##把$remote_addr赋值给X-Real-IP，来获取源IP
			proxy_set_header X-Real-IP $remote_addr;
##在nginx 作为代理服务器时，设置的IP列表，会把经过的机器ip，代理机器ip都记录下来
			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
		}
		
		#配置Nginx处理静态图片请求
		location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|css)$ {
			root /usr/local/nginx/html/img;
			expires 10d;
		}
		
		location / {
			root html;
			index index.html index.htm;
		}
......
	}
......
}
systemctl restart nginx

测试

测试静态页面效果
浏览器访问 http://192.168.126.25
浏览器访问 http://192.168.126.25/game.html

测试负载均衡效果，不断刷新浏览器测试
浏览器访问 http://192.168.126.25/test/index.jsp

总结

  • Nginx 支持哪些类型代理？

  1. 反向代理 代理服务端 7层方代理向代理 4层方向

  2. 正向代理 代理客户端 代理缓存

  3. 7层 基于 http,https,mail 等七层协议的反向代理

  • 使用场景： 动静分离

  • 特点：功能强大，但转发性能较4层偏低

  • 配置： 在http块里设置 upstream 后端服务池： 在server块里用location匹配动态页面路径，使用 proxy_pass http：//服务器池名 进行七层协议（http协议）转发

http {
    upstream backerserver [weight=   fail=   ...]
       server IP1: PORT1 [weight=   fail=   ...]
       ......
      #调度算法(负载均衡模式)
     }  

     server  {       
           location ~ 正则表达式 {
            proxy_pass  http：//backerserver;
            proxy_set_hesder HOST $host;
            proxy_set_hesder X-Real-Ip $remote_addr;
            proxy_set_hesder X-Forwarded-For $proxy_add_x_forwarded_for;
            }
     }
     
}

4层 基于 IP+（tcp或者udp）端口的代理

  • 使用场景： 负载均衡器 /负载调度器，做服务器集群的访问入口

  • 特点：只能根据IP+端口转发，但转发性能较好

  • 配置： 和http块同一层，一般在http块上面配置

stream {
    upstream backerserver  {
       server IP1:PORT1  [weight=   fail=   ...]
       server IP2:PORT2  [weight=   fail=   ...]
       .....
       }
       
       server {
         listen  80;
         server_name XXX;
         proxy_pass  backerserver;
}

调度算法 6种

轮询 加权轮询 最少/小连接 ip_hash fair url_hash

会话保持 ip_hash url_hash 可能会导致负载不均衡 通过后端服务器的session共享来实现

Nginx+Tomcat 动静分离

  • Nginx处理静态资源请求，Tomcat处理动态页面请求

怎么实现动态分离

  • Nginx使用location去正则匹配用户的访问路径的前缀或者后缀去判断接受的请求是静态的还是动态的，静态资源请求在Nginx本地进行处理响应，动态页面通过反向代理转发给后端应用服务器

怎么实现反向代理？

  • 先在http块中使用upstream模块定义服务器组名，使用location匹配路径在用porxy_pass http：//服务器组名 进行七层转发

反向代理2种类型

  • 基于7层的协议http，HTTPS，mail代理
  • 基于4层的IP+（TCP/UDP）PORT的代理

4层代理配置：

  • 在http块同一层上面配置stream模块，在stream模块中配置upstream模块定义服务器组名和服务器列表，在stream模块中的server模块配置监听的IP：端口，主机名，porxy_pass 服务器组名

Nginx如何实现会话保持

ip_hash url_hash 这会导致来自同一客户端的请求被传递到一组服务器在同一台服务器。通过后端服务器session共享 使用sticky_cookie_insert启用会话亲缘关系。与ip_hash不同之处在于，它不是基于IP来判断客户端的，而是基于cookie来判断。因此可以避免上述ip_hash中来自同一局域网的客户端和前段代理导致负载失衡的情况 通过后端服务器session共享实现


http://www.kler.cn/a/14446.html

相关文章：

  • navicat 远程连接oracle数据库ORA-12170及ORA-28547问题
  • Speech and Language Processing-之文本规范化
  • 工贸企业重大事故隐患判定标准，自2023年5月15日起施行
  • 后端开发常犯的问题（Java版）
  • Python VS C（上篇）
  • IPTV系统架构的分析与研究
  • 部署 Exsi 7.0.3
  • PointPillars点云编码器代码运行过程中的问题及解决
  • 如何借助分布式存储 JuiceFS 加速 AI 模型训练
  • Android App 架构 面试专题，你可能会被问到的 20 个问题
  • 2023年全国职业院校技能大赛软件测试赛题第1套
  • 算法的时间复杂度
  • CHAPTER 5: 《DESIGN CONSISTENT HASHING》 第5章 《设计一致的哈希》
  • ( “树” 之 BST) 530. 二叉搜索树的最小绝对差 ——【Leetcode每日一题】
  • IDA调试
  • 普通家庭，千万不要投入大量时间和金钱，让孩子去苦学和培养AI机器人编程了...
  • 【汽车电子】5分钟了解汽车操作系统（科普篇）
  • JavaScript概述二(Date+正则表达式+Math+函数+面向对象)
  • 深入解读springboot使用注解@value注入static变量
  • 当⻉借⼒阿⾥云落地云原⽣架构转型，运维降本、效率稳定性双升