当前位置：首页 > article >正文

利用Python爬虫在速卖通按关键字搜索商品案例指南

article 2024/12/28 20:07:58

在当今的电子商务时代，速卖通（AliExpress）作为全球知名的购物平台，吸引了大量的买家和卖家。对于开发者来说，利用Python爬虫技术在速卖通上按关键字搜索商品，可以帮助我们快速获取商品信息，进行数据分析和商业决策。本文将详细介绍如何使用Python爬虫在速卖通上按关键字搜索商品，并提供完整的代码示例。

前期准备

在开始编写爬虫之前，我们需要安装一些必要的Python库：

requests：用于发送HTTP请求。
BeautifulSoup：用于解析HTML内容。
pandas：用于数据处理和存储。

可以通过以下命令安装这些库：

前期准备

在开始编写爬虫之前，我们需要安装一些必要的Python库：

requests：用于发送HTTP请求。
BeautifulSoup：用于解析HTML内容。
pandas：用于数据处理和存储。

可以通过以下命令安装这些库：

pip install requests beautifulsoup4 pandas

爬虫代码示例

下面是一个完整的Python爬虫代码示例，用于在速卖通上按关键字搜索商品：

import requests
from bs4 import BeautifulSoup
import pandas as pd

def search_aliexpress(keyword, num_pages=1):
    base_url = "https://www.aliexpress.com/wholesale"
    params = {
        'SearchText': keyword
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    
    products = []

    for page in range(1, num_pages + 1):
        params['page'] = page
        response = requests.get(base_url, params=params, headers=headers)
        soup = BeautifulSoup(response.content, 'html.parser')
        
        items = soup.find_all('div', class_='item')
        
        for item in items:
            title = item.find('a', class_='item-title').text.strip()
            price = item.find('span', class_='price-current').text.strip()
            link = item.find('a', class_='item-title')['href']
            
            products.append({
                'Title': title,
                'Price': price,
                'Link': link
            })
    
    return products

def save_to_csv(products, filename='aliexpress_products.csv'):
    df = pd.DataFrame(products)
    df.to_csv(filename, index=False)
    print(f"Data saved to {filename}")

if __name__ == "__main__":
    keyword = input("Enter the keyword to search: ")
    num_pages = int(input("Enter the number of pages to scrape: "))
    
    products = search_aliexpress(keyword, num_pages)
    save_to_csv(products)

代码解析

1. 导入必要的库

首先，我们导入了requests、BeautifulSoup和pandas库：

import requests
from bs4 import BeautifulSoup
import pandas as pd

2. 定义搜索函数

接下来，我们定义了search_aliexpress函数，用于在速卖通上按关键字搜索商品：

def search_aliexpress(keyword, num_pages=1):
    base_url = "https://www.aliexpress.com/wholesale"
    params = {
        'SearchText': keyword
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    
    products = []

    for page in range(1, num_pages + 1):
        params['page'] = page
        response = requests.get(base_url, params=params, headers=headers)
        soup = BeautifulSoup(response.content, 'html.parser')
        
        items = soup.find_all('div', class_='item')
        
        for item in items:
            title = item.find('a', class_='item-title').text.strip()
            price = item.find('span', class_='price-current').text.strip()
            link = item.find('a', class_='item-title')['href']
            
            products.append({
                'Title': title,
                'Price': price,
                'Link': link
            })
    
    return products

在这个函数中，我们构建了速卖通的搜索URL，并设置了请求参数和请求头。然后，我们通过循环遍历指定的页数，发送HTTP请求并解析返回的HTML内容，提取商品的标题、价格和链接信息。

3. 保存数据到CSV文件

我们还定义了一个save_to_csv函数，用于将爬取到的商品信息保存到CSV文件中：

def save_to_csv(products, filename='aliexpress_products.csv'):
    df = pd.DataFrame(products)
    df.to_csv(filename, index=False)
    print(f"Data saved to {filename}")

4. 主程序

最后，我们编写了主程序，获取用户输入的关键字和页数，并调用上述函数进行爬取和保存数据：

if __name__ == "__main__":
    keyword = input("Enter the keyword to search: ")
    num_pages = int(input("Enter the number of pages to scrape: "))
    
    products = search_aliexpress(keyword, num_pages)
    save_to_csv(products)