当前位置：首页 > article >正文

使用 Python 构建代理池并测试其有效性

article 2024/11/6 2:51:46

前言

在本篇文章中，我们将介绍如何通过 Python 脚本来构建一个代理池，并且对这些代理的有效性进行测试。整个流程涵盖了从网站抓取代理信息、存储这些信息以及异步地测试代理的有效性。这个脚本可以用作网络爬虫或其他需要使用代理服务器的应用的基础工具。
目标网站
在这里插入图片描述

一、环境准备

确保你的环境中已安装了以下 Python 库。如果没有安装，请使用 pip 命令安装：

aiohttp：异步HTTP客户端/服务器库。
pandas：数据处理库。
openpyxl：用于读写 Excel 文件。
DrissionPage：基于 Selenium 的网页自动化库。
fake_useragent：生成随机的 User-Agent 字符串。

pip install aiohttp pandas openpyxl DrissionPage fake_useragent

二、代码实现

2.1 读取初始代理列表

首先，我们需要从文件中读取预先收集的代理列表。这将是我们的代理池的基础。

file_path = "E:/Python/代理池/proxies.txt"

proxies = []
with open(file_path, 'r') as file:
    for line in file:
        proxy = line.strip()  # 去除每行末尾的换行符
        proxies.append(proxy)

2.2 初始化 Excel 工作簿

我们还需要创建一个 Excel 工作簿来存储从网页抓取到的数据。

# 初始化 Workbook 对象
wb = Workbook()
# 添加一个变量来跟踪是否已经抓取过表格数据
table_data_fetched = False

2.3 寻找可用的代理

接下来，我们编写一个函数 find_available_proxy，它会随机选择一个代理，并尝试用它来访问一个测试URL。如果代理能够成功响应，则认为它是可用的。

def find_available_proxy():
    # 重复读取代理列表，以确保最新的代理可用
    proxies = []
    with open(file_path, 'r') as file:
        for line in file:
            proxy = line.strip()
            proxies.append(proxy)
    headers = {
   'User-Agent': UserAgent().random}
    
    while True:
        dproxy = random.choice(proxies)
        try:
            response = requests.get('http://example.com', proxies={
   'http': dproxy}, headers=headers, timeout=5)
            if response.status_code ==