如何寻找适合的HTTP代理IP资源？

一、怎么找代理IP资源？

在选择代理IP资源的时候，很多小伙伴往往将可用率作为首要的参考指标。事实上，市面上的住宅IP或拨号VPS代理IP资源，其可用率普遍在95%以上，因此IP可用率并不是唯一的评判标准

其实更应该关注的是抓取成功率。下面将以实例进行分析：

• 对比案例（假设现在有AB两个代理IP源，各自提供一万个不重复的代理IP）
  • A抓取成功 5000 条数据
  • B仅抓取成功 1000 条数据

显然，在抓取成功率上可以发现差距明显，而影响成功率的关键在以下两点：

• IP资源类型

  • 数据中心IP：大多数已被目标网站标记，容易触发风控
  • 住宅IP：真人的概率更高，因而抓取成功率与访问通过率也就相关更高

• 业务冲突

  • 假如我们在抓取某个特定目标网站的数据，我们使用的正是A的IP池，那么刚好在A的IP资源池子中已有其他用户也在抓取相同网站，那么这个池子的资源极有可能被目标网站屏蔽。影响到抓取成功率。相比之下，如果A的IP池使用中与我们抓取的目标网站没有业务之间的重合，则成功率会高出许多

二、国内代理IP资源的特性

根据集成到爬虫业务测测试结果发现抓取成功率、资源质量和性价比，整理了以下IP源：

协采云

• 相关介绍：主打住宅IP并且采用独特的分池模式，实现客户间的物理隔离，避免业务冲突导致的成功率下降
• 测试效果：抓取成功率高（资源隔离有效提升抓取效率）、IP切换速度快（适合大规模并发任务）、提供长达7天测试（优于多数同行的几小时测试）

所以说，如果各位小伙伴以及爬虫工程师们注重抓取成功率和IP资源的质量。大家可以自行去测试验证效果

星速云

• 相关介绍：星速云同样提供分池模式，并且响应速度快，价格相对较低，非常适合对IP量需求不高的用户
• 测试效果：节点响应速度快（满足实时性要求）、提供隧道代理（适用于灵活的抓取场景）、性价比高（价格较低，资源质量优良）

总体而言，星速云是对小批量IP需求的理想选择，特别是对于中小型爬虫任务，效果不俗！

三、如何选择适合的IP服务？

• 看需求： 首先我们可以对接服务集成到业务代码中进行测试，如果追求高抓取成功率，可以选择协采云！如果预算有限且需求量不大，可以尝试星速云
• 分散风险：在大规模的采集业务当中，可以将任务打散到不同的IP资源中，避免“鸡蛋放在一个篮子里”
• 先测试再决定：优质的IP源往往提供较长的测试期，如协采云支持7天的一个测试，充分验证后再决定

选择合适的代理IP源，可以大大提升我们的爬虫效率与成功率，避免浪费时间和资源！

四、集成代码如何实现？

这里以协采云的代理服务为例，编写一个获取代理IP的方法，爬虫可以直接调用，如下所示：

# -*- coding: utf-8 -*-

import json
import time
import requests
from loguru import logger

def assemble_proxies(ip, port):
    proxyusernm = "" # 自行设置
    proxypasswd = "" # 自行设置
    proxies = { 
        "http": f"http://{proxyusernm}:{proxypasswd}@{ip}:{port}",
        "https": f"http://{proxyusernm}:{proxypasswd}@{ip}:{port}"
    }   
    return proxies

def get_proxies():
    proxy_api = "" # 自行设置API
    response = requests.get(proxy_api, timeout=10).json()
    success = response.get('success', '')
    if success:
        result = response.get('result', [])
        if result:
            ip = result[0]['ip']
            port = result[0]['port']
            proxies = assemble_proxies(ip, port)
            return proxies

if __name__ == '__main__':
    proxies = get_proxies()
    print(proxies)