当前位置：首页 > article >正文

淘宝商品爬虫：Python的“购物车”大冒险

article 2025/2/23 13:28:06

大家好，我是你们的老朋友Python，今天我将带领大家进行一场刺激的“购物车”大冒险，目标是淘宝的海量商品数据。别担心，我们的行动是完全合法的，就像在超市里用购物车一样，只是我们的目标是数据，而不是实物商品。

1. 装备准备

在开始我们的冒险之前，我们需要准备一些装备：

Python：我们的军刀，多功能编程语言。
Requests：我们的马车，用于快速移动。
BeautifulSoup：我们的放大镜，用于查看细节。
Selenium：我们的隐形斗篷，用于在网络中隐身。

安装这些装备的命令如下：

pip install requests beautifulsoup4 selenium

2. 地图分析

在淘宝这个巨大的迷宫中，我们需要一张地图来找到我们想要的商品。以“手机”为例，我们的地图（URL）可能如下：

https://s.taobao.com/search?q=手机&s=0&spm=a220m.1000858.a2227oh.dXJs

这里，q=手机是我们的目的地，s=0表示我们从迷宫的起点开始。

3. 编写探险代码

3.1 装备我们的马车

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time

# 设置Selenium WebDriver，我们的马车
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # 无头模式，让我们的行动更加隐秘
driver = webdriver.Chrome(options=options)

3.2 开始探险

def search_taobao(keyword):
    url = f"https://s.taobao.com/search?q={keyword}&s=0&spm=a220m.1000858.a2227oh.dXJs"
    driver.get(url)
    time.sleep(5)  # 让我们的马车休息一下，等待迷宫的门打开

    # 用我们的放大镜查看迷宫中的商品
    soup = BeautifulSoup(driver.page_source, 'html.parser')
    items = soup.find_all('div', {'class': 'items'})
    product_list = []

    for item in items:
        product = {
            'title': item.find('div', {'class': 'title'}).get_text(strip=True),
            'price': item.find('div', {'class': 'price'}).get_text(strip=True),
            'image': item.find('img')['src']
        }
        product_list.append(product)
    
    return product_list

# 让我们开始搜索“手机”
products = search_taobao('手机')
for product in products:
    print(product)