04-机器学习-网页数据抓取

网络爬取（Web Scraping）深度指南

1. 网络爬取全流程设计

一个完整的网络爬取项目通常包含以下步骤：

1. 目标分析：

   • 明确需求：需要哪些数据（如商品价格、评论、图片）？
   • 网站结构分析：使用浏览器开发者工具（F12）查看页面HTML结构，定位目标数据的CSS选择器或XPath。
   • 反爬策略预判：检查目标网站的robots.txt（如 https://example.com/robots.txt），确认允许爬取的路径和频率限制。

2. 技术选型：

   • 静态页面：使用Requests + Beautiful Soup。
   • 动态页面（JavaScript渲染）：使用Selenium、Playwright或Scrapy-Splash。
   • 大规模爬取：分布式框架如Scrapy-Redis。

3. 爬取与解析：

   • 发送HTTP请求：模拟浏览器请求头（User-Agent、Cookies）。
   • 解析HTML：提取数据字段（如价格、标题）。
   • 分页处理：自动翻页或通过API获取下一页链接。

4. 数据存储：

   • 本地存储：CSV、JSON文件（适合小规模）。
   • 数据库：MySQL（结构化数据）、MongoDB（非结构化数据）。
   • 云存储：AWS S3、Google Cloud Storage（适合大规模数据）。

5. 反反爬策略：

   • 请求间隔：随机延迟（如time.sleep(random.uniform(1, 5))）。
   • IP代理池：使用付费服务（如BrightData）或自建代理。
   • 浏览器指纹模拟：通过fake_useragent库生成随机User-Agent。

2. 动态页面处理实战

以爬取动态加载的电商网站为例，使用 Selenium 和 Playwright：

# 使用Selenium（需安装ChromeDriver）
from selenium import webdriver
from selenium.webdriver.common.by import By
import time

driver = webdriver.Chrome()
driver.get("https://example.com/dynamic-page")
time.sleep(3)  # 等待页面加载

# 点击“加载更多”按钮
load_more_button = driver.find_element(By.CSS_SELECTOR, ".load-more")
load_more_button.click()
time.sleep(2)

# 提取数据
products = driver.find_elements(By.CLASS_NAME, "product")
for product in products:
    name = product.find_element(By.CLASS_NAME, "name").text
    price = product.find_element(By.CLASS_NAME, "price").text
    print(f"商品: {name}, 价格: {price}")

driver.quit()

# 使用Playwright（支持异步，效率更高）
from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    browser = p.chromium.launch()
    page = browser.new_page()
    page.goto("https://example.com/dynamic-page")
    
    # 模拟滚动加载
    for _ in range(3):
        page.evaluate("window.scrollTo(0, document.body.scrollHeight)")
        page.wait_for_timeout(2000)
    
    # 提取数据
    products = page.query_selector_all(".product")
    for product in products:
        name = product.query_selector(".name").inner_text()
        price = product.query_selector(".price").inner_text()
        print(f"商品: {name}, 价格: {price}")
    
    browser.close()

3. 应对反爬虫机制

代理IP示例：

import requests

proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
}
response = requests.get("https://example.com", proxies=proxies)

4. 数据清洗与存储优化

• 去噪与格式化：

  import re
  def clean_price(price_str):
      # 从 "￥199.99" 中提取数字
      return float(re.sub(r"[^\d.]", "", price_str))
  

• 存储到数据库（以MongoDB为例）：

  from pymongo import MongoClient
  client = MongoClient("mongodb://localhost:27017/")
  db = client["scraped_data"]
  collection = db["products"]
  collection.insert_one({"name": "手机", "price": 1999})
  

5. 法律合规与伦理

• 遵守规则：
  • 严格遵循robots.txt中的Disallow规则。
  • 避免爬取个人敏感信息（如身份证号、联系方式）。
• 伦理建议：
  • 控制请求频率，防止对目标服务器造成负担。
  • 在学术或商业用途中注明数据来源。

6. 实战案例：爬取豆瓣电影Top250

import requests
from bs4 import BeautifulSoup

url = "https://movie.douban.com/top250"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")

movies = soup.find_all("div", class_="item")
for movie in movies:
    title = movie.find("span", class_="title").text
    rating = movie.find("span", class_="rating_num").text
    print(f"电影: {title}, 评分: {rating}")

输出示例：

电影: 肖申克的救赎, 评分: 9.7
电影: 霸王别姬, 评分: 9.6
...

7. 高级技巧与工具

• Scrapy中间件：自定义下载中间件处理请求和响应。
• 分布式爬虫：使用Scrapy-Redis实现多节点协同爬取。
• Headless浏览器：通过无头模式提升性能（如ChromeOptions().add_argument("--headless")）。

总结

网络爬取是一项强大但需谨慎使用的技术，关键在于：

1. 技术实现：选择合适的工具应对静态/动态页面。
2. 反反爬策略：灵活使用代理、请求头伪装和人类行为模拟。
3. 合规性：尊重目标网站的规则和数据隐私。

通过系统化的流程设计和持续优化，可高效获取高质量数据，为机器学习、市场分析等场景提供坚实基础！