当前位置：首页 > article >正文

淘宝商品爬虫：Python实战指南

article 2024/11/20 11:05:35

在互联网时代，数据的价值不言而喻。对于电商领域来说，获取商品信息是数据分析、市场调研的重要一环。淘宝作为中国最大的电商平台之一，拥有海量的商品数据。本文将带你了解如何使用Python编写爬虫，按照关键字搜索并获取淘宝商品信息。

1. 环境准备

在开始之前，你需要准备以下工具和库：

Python：编程语言环境，建议使用Python 3.6以上版本。
Requests：用于发送HTTP请求。
BeautifulSoup：用于解析HTML文档。
Selenium：用于模拟浏览器操作，处理JavaScript渲染的页面。

安装这些库的命令如下：

pip install requests beautifulsoup4 selenium

2. 分析淘宝商品页面

淘宝的商品页面通常包含JavaScript渲染的内容，因此我们选择Selenium作为爬虫工具。首先，我们需要分析商品搜索的URL结构。

以“手机”为例，淘宝搜索的URL可能如下：

https://s.taobao.com/search?q=手机&s=0&spm=a220m.1000858.a2227oh.dXJs

其中q=手机是搜索关键字，s=0表示搜索结果的起始位置。

3. 编写爬虫代码

3.1 导入库

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time

3.2 设置Selenium

# 设置Selenium WebDriver
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 无头模式
driver = webdriver.Chrome(options=options)

3.3 搜索商品

def search_taobao(keyword):
    url = f"https://s.taobao.com/search?q={keyword}&s=0&spm=a220m.1000858.a2227oh.dXJs"
    driver.get(url)
    time.sleep(5)  # 等待页面加载

    # 获取商品信息
    soup = BeautifulSoup(driver.page_source, 'html.parser')
    items = soup.find_all('div', {'class': 'items'})
    product_list = []

    for item in items:
        product = {
            'title': item.find('div', {'class': 'title'}).get_text(),
            'price': item.find('div', {'class': 'price'}).get_text(),
            'image': item.find('img')['src']
        }
        product_list.append(product)
    
    return product_list

# 搜索“手机”
products = search_taobao('手机')
for product in products:
    print(product)