当前位置：首页 > article >正文

如何利用爬虫抓取多个页面的商品销量数据

article 2025/2/23 18:07:12

在电商领域，商品销量数据是衡量产品受欢迎程度和市场表现的关键指标。通过爬虫技术，可以高效地获取多个页面的商品销量数据，为市场分析和商业决策提供支持。以下是利用Python爬虫抓取多个页面商品销量数据的详细步骤和代码示例。

一、环境准备

确保你已经安装了以下Python库：

requests：用于发送HTTP请求。
BeautifulSoup：用于解析HTML页面。
pandas：用于数据存储和处理。

可以通过以下命令安装这些库：

pip install requests beautifulsoup4 pandas

二、编写爬虫代码

（一）发送HTTP请求并解析HTML

使用requests库发送HTTP请求，获取商品列表页面的HTML内容。然后使用BeautifulSoup解析HTML，提取商品销量数据。

import requests
from bs4 import BeautifulSoup
import pandas as pd
import time
import random

def get_product_sales(base_url, total_pages):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    all_products = []

    for page in range(1, total_pages + 1):
        url = f"{base_url}?page={page}"
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            print(f"正在抓取第 {page} 页")
            soup = BeautifulSoup(response.text, 'html.parser')
            products = soup.find_all('div', class_='product-item')
            for product in products:
                title = product.find('div', class_='product-title').get_text(strip=True)
                sales = product.find('span', class_='sales-count').get_text(strip=True)
                all_products.append({'title': title, 'sales': sales})
            time.sleep(random.uniform(1, 3))  # 随机延时，避免被封
        else:
            print(f"第 {page} 页抓取失败")

    return all_products

# 示例：抓取前5页的商品销量数据
base_url = "https://www.example.com/products"
total_pages = 5
products = get_product_sales(base_url, total_pages)

# 将结果保存到CSV文件
df = pd.DataFrame(products)
df.to_csv('product_sales.csv', index=False, encoding='utf-8')
print("数据已保存到 product_sales.csv")

（二）处理动态加载的内容

如果商品销量数据是通过JavaScript动态加载的，可以使用Selenium来模拟浏览器行为，获取完整的页面内容。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def get_dynamic_product_sales(base_url, total_pages):
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')  # 无头模式
    driver = webdriver.Chrome(options=options)
    all_products = []

    for page in range(1, total_pages + 1):
        url = f"{base_url}?page={page}"
        driver.get(url)
        WebDriverWait(driver, 10).until(
            EC.presence_of_element_located((By.CLASS_NAME, 'product-item'))
        )
        soup = BeautifulSoup(driver.page_source, 'html.parser')
        products = soup.find_all('div', class_='product-item')
        for product in products:
            title = product.find('div', class_='product-title').get_text(strip=True)
            sales = product.find('span', class_='sales-count').get_text(strip=True)
            all_products.append({'title': title, 'sales': sales})
        time.sleep(random.uniform(1, 3))  # 随机延时，避免被封

    driver.quit()
    return all_products

# 示例：抓取前5页的商品销量数据
base_url = "https://www.example.com/products"
total_pages = 5
products = get_dynamic_product_sales(base_url, total_pages)

# 将结果保存到CSV文件
df = pd.DataFrame(products)
df.to_csv('product_sales.csv', index=False, encoding='utf-8')
print("数据已保存到 product_sales.csv")