当前位置：首页 > article >正文

亮数据——助力全球数据抓取的高效代理平台

article 2024/11/15 15:05:37

在如今的大数据时代，企业决策越来越依赖于数据分析，而数据的高效获取与处理是确保分析结果准确的重要基础。然而，面对网络反爬虫技术的进步和复杂的法律合规要求，很多企业在采集全球数据时遇到了困难。为了应对这些挑战，本文将介绍一种常见的代理服务技术，并结合实际案例展示其在市场调研和数据采集中的应用。

实际案例：利用代理服务抓取企业信息

以下代码演示了一个简单的爬虫，它通过代理服务访问某网站，获取企业的基本信息。这些数据不仅能够帮助企业了解竞争对手的基本运营情况，还可以作为市场调研的重要依据。

导入必要的库
```
import re
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
```
- re: 用于正则表达式匹配，在代码中没有使用，但在一些数据处理任务中常见。
- selenium: 这是自动化网页操作的核心库。
  - webdriver: 用于启动和控制浏览器的对象。
  - Service: 用于设置和管理 ChromeDriver 的服务。
  - By: 用于定位网页元素（如按 XPath、CSS 选择器等）。
  - Keys: 模拟键盘操作，例如按回车键。
  - WebDriverWait: 用于显式等待，等待某个元素加载完成。
  - expected_conditions as EC: 通过预期条件来控制 WebDriverWait，确保在执行操作前页面元素已完全加载。
- time: 用于处理时间延迟，尽管在此代码中大部分时间都使用了显式等待而不是静态延时。
设置和启动 ChromeDriver
```
service = Service(executable_path=r'D:\google download\chromedriver-win64\chromedriver-win64\chromedriver.exe')
driver = webdriver.Chrome(service=service)
```
- 这里通过指定 ChromeDriver 路径来启动一个 Chrome 浏览器实例。
- executable_path 是 ChromeDriver 的安装路径，确保 ChromeDriver 版本与 Chrome 浏览器兼容。
访问目标 URL
```
url = 'https://www.tianyancha.com/company/639627788'
driver.get(url)
```
- 使用 driver.get() 方法打开目标网址，天眼查某个公司页面。
显式等待并进行交互操作
```
# 等待并点击第一个按钮
first_button = WebDriverWait(driver, 10).until(
    EC.element_to_be_clickable((By.XPATH, '//*[@id="J_NavTypeLink"]/span'))
)
first_button.click()
```
- 显式等待: 使用 WebDriverWait 和 expected_conditions 让代码等待指定元素的出现。
- 例如，首先等待第一个按钮可点击，然后点击该按钮。这里使用了 XPath 来定位按钮。
接下来的操作包括：
- 点击密码登录按钮。
- 点击页面上的第二个按钮。

登录操作

# 输入用户名和密码
username_field = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, '//*[@id="mobile"]'))
)
password_field = driver.find_element(By.XPATH, '//*[@id="password"]')

# 输入实际账号和密码
username_field.send_keys('账号')
password_field.send_keys('密码')

显式等待用户名输入框的加载，然后填写用户名和密码。
这些账号信息需要替换为实际的登录凭证。

同意隐私政策并提交

# 勾选隐私政策复选框
privacy_policy_checkbox = driver.find_element(By.XPATH, '//*[@id="agreement-checkbox-account"]')
privacy_policy_checkbox.click()

# 使用回车提交
password_field.send_keys(Keys.RETURN)

勾选隐私政策复选框并提交登录表单。使用 Keys.RETURN 模拟按下回车键。

等待页面加载并抓取数据

# 提取参保人数
insured_num_element = WebDriverWait(driver, 10).until(
    EC.presence_of_element_located((By.XPATH, '//*[@id="page-root"]/div[3]/div[1]/div[4]/div/div[3]/div[2]/div[2]/div[1]/div/div[2]/table/tbody/tr[8]/td[2]'))
)
company_info['参保人数'] = insured_num_element.text.strip()

提取公司信息: 代码继续使用显式等待定位元素并提取信息。
通过 XPath 定位到页面中的表格，提取公司 参保人数、法定代表人、电话和 注册资本 等数据。
使用 text.strip() 清理文本中的前后空白字符。

打印抓取的数据
```
for key, value in company_info.items():
    print(f'{key}: {value}')
```
- 将提取到的数据存储在字典 company_info 中，最后遍历字典并打印每个键值对。
关闭浏览器
```
driver.quit()
```
- 操作完成后，调用 driver.quit() 关闭浏览器并释放资源。

完整代码

import re
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time

# 设置 ChromeDriver 路径
service = Service(executable_path=r'D:\google download\chromedriver-win64\chromedriver-win64\chromedriver.exe')

# 启动 Chrome WebDriver
driver = webdriver.Chrome(service=service)

# 访问 URL
url = 'https://www.tianyancha.com/company/639627788'
driver.get(url)

# 使用显式等待代替 time.sleep
try:
    # 等待并点击第一个按钮
    first_button = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, '//*[@id="J_NavTypeLink"]/span'))
    )
    first_button.click()

    # 等待并点击密码登录按钮
    login_button = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, '//*[@id="web-content"]/div/div/div/div/div[2]'))
    )
    login_button.click()

    # 等待并点击第二个按钮
    second_button = WebDriverWait(driver, 10).until(
        EC.element_to_be_clickable((By.XPATH, '//*[@id="web-content"]/div/div/div/div/div[6]/div/div[1]/div[2]'))
    )
    second_button.click()

except Exception as e:
    print("操作失败:", e)

# 输入用户名和密码
try:
    username_field = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, '//*[@id="mobile"]'))
    )
    password_field = driver.find_element(By.XPATH, '//*[@id="password"]')

    # 输入实际账号和密码
    username_field.send_keys('账号')
    password_field.send_keys('密码')

    # 勾选隐私政策复选框
    privacy_policy_checkbox = driver.find_element(By.XPATH, '//*[@id="agreement-checkbox-account"]')
    privacy_policy_checkbox.click()

    # 使用回车提交
    password_field.send_keys(Keys.RETURN)

    # 等待页面加载完成
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'company-header-content'))
    )
except Exception as e:
    print("输入用户名或密码时出错:", e)

# 存储提取的数据
company_info = {}

try:
    time.sleep(30)
    # 提取参保人数
    insured_num_element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.XPATH, '//*[@id="page-root"]/div[3]/div[1]/div[4]/div/div[3]/div[2]/div[2]/div[1]/div/div[2]/table/tbody/tr[8]/td[2]'))
    )
    company_info['参保人数'] = insured_num_element.text.strip()

    # 提取法定代表人
    legal_representative_element = driver.find_element(By.XPATH, '//*[@id="page-root"]/div[3]/div[1]/div[4]/div/div[3]/div[2]/div[2]/div[1]/div/div[2]/table/tbody/tr[2]/td[2]/div/div/div/div[2]/div/a')
    company_info['法定代表人'] = legal_representative_element.text.strip()

    # 提取电话
    phone_element = driver.find_element(By.XPATH, '//*[@id="page-root"]/div[3]/div/div[1]/div[1]/div[2]/div[1]/div[2]/div[1]/div[2]/div[1]/span[2]/span')
    company_info['电话'] = phone_element.text.strip()

    # 提取注册资本
    registered_capital_element = driver.find_element(By.XPATH, '//*[@id="page-root"]/div[3]/div[1]/div[4]/div/div[3]/div[2]/div[2]/div[1]/div/div[2]/table/tbody/tr[4]/td[4]/div')
    company_info['注册资本'] = registered_capital_element.text.strip()

except Exception as e:
    print("提取数据时出错:", e)

# 打印提取到的数据
for key, value in company_info.items():
    print(f'{key}: {value}')

# 关闭浏览器
driver.quit()

运行结果

在这里插入图片描述
通过结合亮数据的代理服务，我们可以使该爬虫程序在访问大量数据时更加稳定，不受网络封禁的影响。亮数据的全球代理IP网络（即日起，注册新用户，可以获得2+5共7美金免费试用产品的机会。）确保用户可以灵活地从不同地区采集数据，规避IP封禁带来的阻碍。同时，亮数据的智能管理系统能够实时更换IP，并为用户提供智能助手支持，帮助其快速上手并解决技术难题。