当前位置: 首页 > article >正文

Nginx + Lua + Redis:打造智能 IP 黑名单系统

Nginx + Lua + Redis:打造智能 IP 黑名单系统

nginx通过Lua+Redis实现动态封禁IP

需求背景

在Web服务中,为了防止恶意用户或爬虫对服务器造成不必要的负载和潜在的安全威胁,我们可以通过设置动态IP黑名单来拒绝来自这些IP的请求。本文将详细介绍如何使用Nginx配合Lua脚本及Redis数据库实现这一功能,并允许为每个被封禁的IP设定失效时间。

实现方案对比

在实现 IP 黑名单功能时,有多种方案可供选择:

  • 优点:直接在服务器物理层面拦截指定 IP 的网络请求,操作直接且高效。

  • 缺点:需要手动编辑配置文件,操作繁琐且不灵活,难以动态管理。

  • 优点:通过 Nginx 和 Lua 脚本的结合,可动态实现 IP 封禁,并设置封禁时间,实现分布式封禁。

  • 缺点:需要一定的 Lua 脚本和 Nginx 配置知识,但相对容易学习和掌握。

  • 优点:通过编写代码实现 IP 黑名单功能,相对简单且易于维护。

  • 缺点:在高并发情况下可能影响性能,且代码可能会变得冗长。

  1. 操作系统层面(iptables):

  2. Web 服务器层面(Nginx + Lua):

  3. 应用层面:

为了兼顾灵活性和管理便捷性,我们选择通过 Nginx + Lua + Redis 的架构来实现 IP 黑名单功能。

这里选择结合Nginx与Lua脚本并通过Redis存储黑名单数据的方法,以达到灵活管理并共享黑名单的目的。

Nginx与Lua脚本并通过Redis存储黑名单数据的方法

操作步骤

1. 安装必要的软件确保你的系统已经安装了OpenResty版Nginx以及Redis服务。可以参考官方文档完成相关安装。

2. 创建Lua脚本文件创建一个名为access_limit.lua的文件,路径根据实际需要调整,例如 /usr/local/lua/access_limit.lua。该脚本负责检查客户端IP是否位于Redis维护的黑名单内,并据此决定是否继续处理请求。

lua脚本具体内容凯哥会放在文末。

配置 Nginx.conf

在 Nginx 配置文件中,我们需要在需要进行限制的 server 的 location 中添加 Lua 脚本的访问控制。

location / {

    # 如果该location 下存在静态资源文件可以做一个判断      

    #if ($request_uri ~ .*\.(html|htm|jpg|js|css)) {

    # access_by_lua_file /usr/local/lua/access_limit.lua;   

    #}

    

    access_by_lua_file /usr/local/lua/access_limit.lua; # 加上了这条配置,则会根据 access_limit.lua 的规则进行限流

    alias /usr/local/web/;

    index  index.html index.htm;

}

Lua 脚本实现

在 /usr/local/lua/access_limit.lua 文件中,我们编写 Lua 脚本来实现 IP 黑名单的访问控制。该脚本将从 Redis 中读取黑名单列表,并判断当前请求的 IP 是否在黑名单中。

/usr/local/lua/access_limit.lua

-- 可以实现自动将访问频次过高的IP地址加入黑名单封禁一段时间



--连接池超时回收毫秒

local pool_max_idle_time = 10000

--连接池大小

local pool_size = 100

--redis 连接超时时间

local redis_connection_timeout = 100

--redis host

local redis_host = "your redis host ip"

--redis port

local redis_port = "your redis port"

--redis auth

local redis_auth = "your redis authpassword";

--封禁IP时间(秒)

local ip_block_time= 120

--指定ip访问频率时间段(秒)

local ip_time_out = 1

--指定ip访问频率计数最大值(次)

local ip_max_count = 3





--  错误日志记录

local function errlog(msg, ex)

    ngx.log(ngx.ERR, msg, ex)

end



-- 释放连接池

local function close_redis(red)

    if not red then

        return

    end

    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)

    if not ok then

        ngx.say("redis connct err:",err)

        return red:close()

    end

end





--连接redis

local redis = require "resty.redis"

local client = redis:new()

local ok, err = client:connect(redis_host, redis_port)

-- 连接失败返回服务器错误

if not ok then

    close_redis(client)

    ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)

end

--设置超时时间

client:set_timeout(redis_connection_timeout)



-- 优化验证密码操作 代表连接在连接池使用的次数,如果为0代表未使用,不为0代表复用 在只有为0时才进行密码校验

local connCount, err = client:get_reused_times()

-- 新建连接,需要认证密码

if  0 == connCount then

    local ok, err = client:auth(redis_auth)

    if not ok then

        errlog("failed to auth: ", err)

        return

    end

    --从连接池中获取连接,无需再次认证密码

elseif err then

    errlog("failed to get reused times: ", err)

    return

end



-- 获取请求ip

local function getIp()

    local clientIP = ngx.req.get_headers()["X-Real-IP"]

    if clientIP == nil then

        clientIP = ngx.req.get_headers()["x_forwarded_for"]

    end

    if clientIP == nil then

        clientIP = ngx.var.remote_addr

    end

    return clientIP

end



local cliendIp = getIp();



local incrKey = "limit:count:"..cliendIp

local blockKey = "limit:block:"..cliendIp



--查询ip是否被禁止访问,如果存在则返回403错误代码

local is_block,err = client:get(blockKey)

if tonumber(is_block) == 1 then

    ngx.exit(ngx.HTTP_FORBIDDEN)

    close_redis(client)

end



local ip_count, err = client:incr(incrKey)

if tonumber(ip_count) == 1 then

    client:expire(incrKey,ip_time_out)

end

--如果超过单位时间限制的访问次数,则添加限制访问标识,限制时间为ip_block_time

if tonumber(ip_count) > tonumber(ip_max_count) then

    client:set(blockKey,1)

    client:expire(blockKey,ip_block_time)

end



close_redis(client)

优点总结

通过 Nginx + Lua + Redis 实现的 IP 黑名单功能具有以下优点:

  • 配置简单轻量:对服务器性能影响小,易于部署和维护。

  • 共享黑名单:多台服务器可以通过共享 Redis 实例实现黑名单的同步和共享。

  • 动态配置:可以手工或通过自动化方式设置 Redis 中的黑名单,实现动态管理。

扩展应用场景

  • 防止恶意访问:阻止暴力破解密码、SQL 注入等非法访问。

  • 防止爬虫和数据滥用:减轻服务器负载,保护数据安全。

  • 防止 DDoS 攻击:封禁发起大规模攻击的 IP 地址,保护服务器稳定性。

  • 限制访问频率:防止暴力破解、刷票等恶意行为。

  • 异常检测和自动封禁:通过分析访问日志和行为模式,自动封禁异常行为的 IP。

  • 白名单机制:允许特定 IP 绕过黑名单限制,确保合法用户正常访问。

  • 验证码验证:对频繁访问或异常行为的 IP 进行验证码验证,增强安全性。

  • 数据统计和分析:记录封禁 IP 的次数、持续时间等信息,为后续优化提供依据。

  1. IP 黑名单的实际应用

  2. 高级功能和改进


http://www.kler.cn/a/371542.html

相关文章:

  • 用xshell给服务器上传jar包
  • Lucas带你手撕机器学习——岭回归
  • 汽车IVI中控OS Linux driver开发实操(二十六):i.MX图形库
  • Linux高手进阶
  • 部署MiniCPM-V
  • 【万能软件篇】03-Batchplot_setup_3.5.6(CAD批量打印插件)
  • 「Mac畅玩鸿蒙与硬件14」鸿蒙UI组件篇4 - Toggle 和 Checkbox 组件
  • Conditional DETR论文笔记
  • Java基础(4)之正则,异常与文件IO流
  • KAN原作论文github阅读(readme)
  • 深度解读GaussDB逻辑解码技术原理
  • 使用 OpenCV 进行人眼检测
  • springboot天气预报推送小程序-计算机毕业设计源码41533
  • 青少年编程与数学 02-002 Sql Server 数据库应用 15课题、备份与还原
  • C++初阶(七)--类和对象(4)
  • 临接矩阵m
  • 随机题两题
  • 开源项目-投票管理系统
  • 苹果生态的机器学习和同态加密
  • Android 玩机知识储备
  • Java国际版同城打车顺风车滴滴车跑腿系统小程序源码
  • 《 Python 与股票大盘信息的奇妙之旅》
  • 深度学习案例:带有一个隐藏层的平面数据分类
  • 等保行业如何面对新兴安全威胁
  • MFC图形函数学习04——画矩形函数
  • rabbitmq高级特性(2)TTL、死信/延迟队列、事务与消息分发