当前位置：首页 > article >正文

使用Lua和lua-resty-http-simple库的爬虫程序爬取图片

article 2025/3/11 3:13:48

使用 Lua 和 lua-resty-http-simple 库编写爬虫程序来下载图片是一个很实用的任务。lua-resty-http-simple 是一个用于 HTTP 请求的简单库，可以帮助我们轻松地发送 GET 请求并处理响应。下面是一个完整的示例程序，展示如何使用 lua-resty-http-simple 库来下载图片。

在这里插入图片描述

1. 安装 `lua-resty-http-simple` 库

你可以通过 luarocks 安装 lua-resty-http-simple 库：

luarocks install lua-resty-http-simple

2. 编写爬虫程序

我们将编写一个 Lua 程序，通过 HTTP 请求从指定 URL 获取图片数据，并将其保存到本地文件系统中。以下是代码：

(1) 导入所需模块

local http = require("resty.http.simple")
local ltn12 = require("ltn12")
local io = require("io")

(2) 编写图片下载函数

-- 下载图片的函数
local function download_image(url, output_filename)
    -- 创建一个 HTTP 客户端
    local client = http.new()

    -- 发送 GET 请求以下载图片
    local response_body = {}
    local res, err = client:request{
        method = "GET",
        url = url,
        headers = {
            ["User-Agent"] = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
        },
        sink = ltn12.sink.table(response_body)  -- 将响应内容保存到 response_body 表
    }

    if not res then
        print("Request failed: " .. (err or "Unknown error"))
        return
    end

    -- 将图片数据写入文件
    local file, file_err = io.open(output_filename, "wb")
    if not file then
        print("Failed to open file for writing: " .. (file_err or "Unknown error"))
        return
    end

    -- 写入响应的图片数据到文件
    file:write(table.concat(response_body))
    file:close()

    print("图片下载完成，已保存为: " .. output_filename)
end

(3) 调用下载函数

在 main 函数中调用 download_image，传入图片 URL 和文件名。

-- 程序入口
local function main()
    -- 要下载的图片 URL
    local image_url = "https://www.example.com/image.jpg"
    -- 图片保存的本地路径
    local output_file = "downloaded_image.jpg"
    
    -- 调用下载函数
    download_image(image_url, output_file)
end

-- 执行程序
main()

3. 解释代码

(1) 导入的模块

resty.http.simple：这是我们用来发送 HTTP 请求的库。
ltn12.sink.table：这是一个 Lua 文件库，用于将 HTTP 响应内容存储在 Lua 表中（可以是图片的二进制数据）。
io：用于文件操作，在这里我们用它来写入本地文件。

(2) `download_image` 函数

http.new()：初始化 HTTP 客户端。
client:request：发送 GET 请求，获取图片数据。我们指定了 User-Agent，这样可以模拟浏览器请求，避免被一些网站屏蔽。
ltn12.sink.table(response_body)：将响应体（即图片的二进制数据）存储到 response_body 表中。
io.open(output_filename, "wb")：以二进制写入模式打开目标文件，并将图片数据写入文件。
table.concat(response_body)：将响应数据（存储在 response_body 中的表）连接成一个大的二进制字符串，并写入文件。