如何处理python爬虫ip被封
一、分析被封原因
频率过高：如果在短时间内对目标网站发起大量请求，很容易被识别为异常访问，从而导致 IP 被封。例如，在一秒内发送了上百个请求去获取网页内容，这远远超出了正常用户的访问频率。
违反网站规则：有些网站会在其服务条款（Terms of Service，TOS）或者 robots.txt 文件中明确规定禁止爬虫访问某些页面或者限制访问方式。如果没有遵守这些规则，也可能导致 IP 被封。
二、应对策略
- 降低访问频率
设置合理的延迟
在每次请求之间添加适当的时间延迟，让访问频率更接近真实用户。例如，使用 Python 的time.sleep()函数。如果是爬取网页列表，可以在每获取一个网页内容后暂停几秒，像这样：
import requests
import time
urls = ["http://example.com/page1", "http://example.com/page2", "http://example.com/page3"]
for url in urls:
response = requests.get(url)
# 在这里对response进行处理，比如解析网页内容等
time.sleep(3) # 暂停3秒
使用分布式爬虫（适当情况）
如果需要大规模的数据抓取，并且单一 IP 的访问频率限制严重影响效率，可以考虑使用分布式爬虫。分布式爬虫通过多个节点（可以理解为多个机器或者多个 IP）同时进行数据抓取，分摊请求压力。不过这需要一定的技术基础和资源，比如搭建服务器集群或者使用云计算服务。
- 使用代理 IP
免费代理 IP
可以从网上找到一些免费的代理 IP 列表。但是这些免费代理 IP 通常不太稳定，可能速度较慢，并且有一定的安全风险。在使用时，可以像下面这样在requests库中设置代理：
import requests
proxy = {"http": "http://免费代理IP地址:端口号", "https": "https://免费代理IP地址:端口号"}
try:
response = requests.get("http://目标网址", proxies = proxy)
# 处理response
except requests.RequestException as e:
print("使用代理IP出错：", e)
付费代理 IP 服务
付费代理 IP 服务通常提供更稳定、更高质量的代理 IP。这些代理 IP 服务提供商有专业的服务器和网络设施，能够保证一定的速度和可用性。在选择付费代理 IP 服务时，需要注意其信誉、IP 池的大小和更新频率等因素。
- 设置请求头（User - Agent）
网站通常会根据请求头中的User - Agent字段来识别访问者。默认的User - Agent可能会暴露你的爬虫身份。可以通过设置合理的User - Agent来伪装成浏览器访问。例如：
import requests
headers = {"User - Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"}
response = requests.get("http://目标网址", headers = headers)
- 联系网站管理员（如果可能）
如果你的爬虫是用于合法的、对网站没有损害的目的，如学术研究、数据备份（在合理范围内）等，可以尝试联系网站管理员，向他们说明你的意图，请求解除 IP 封禁或者获得合法的访问权限。在联系时，要注意礼貌、诚恳地说明情况，并且遵守网站管理员提出的任何合理要求。