当前位置：首页 > article >正文

如何设置爬虫的延时避免被封禁

article 2025/3/19 3:57:56

在使用爬虫获取数据时，合理设置延时是避免被目标网站封禁的关键策略之一。以下是一些常见的方法和技巧：

一、使用 `time.sleep()` 设置固定延时

time.sleep() 是 Python 中最常用的延时方法，可以在每次请求之间设置固定的延时，从而降低请求频率。

Python

import time
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36"
}

urls = ["http://example.com/page1", "http://example.com/page2"]  # 示例URL列表

for url in urls:
    response = requests.get(url, headers=headers)
    time.sleep(1)  # 每次请求间隔1秒

二、使用随机延时

为了更好地模拟真实用户的行为，可以设置随机延时。这可以通过 random.uniform() 或 random.randint() 实现。

Python

import time
import random
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36"
}

urls = ["http://example.com/page1", "http://example.com/page2"]  # 示例URL列表

for url in urls:
    response = requests.get(url, headers=headers)
    delay = random.uniform(0.5, 2.0)  # 随机延时0.5到2秒
    time.sleep(delay)

三、使用 Scrapy 框架的 `DOWNLOAD_DELAY` 设置延时

如果你使用的是 Scrapy 框架，可以通过设置 DOWNLOAD_DELAY 来控制请求间隔。

Python

# 在 settings.py 中设置
DOWNLOAD_DELAY = 2  # 每次请求间隔2秒

此外，还可以结合 RandomDelayMiddleware 实现随机延时。

四、使用代理服务器

使用代理服务器可以隐藏真实 IP 地址，降低被封禁的风险。可以结合 requests 库使用代理。

Python

import requests
import random

proxy_list = [
    {"http": "http://proxy1.example.com:8080"},
    {"http": "http://proxy2.example.com:8080"},
]

url = "http://example.com/data"

for _ in range(5):  # 示例：发送5次请求
    proxy = random.choice(proxy_list)
    response = requests.get(url, proxies=proxy)
    time.sleep(1)  # 每次请求间隔1秒