当前位置：首页 > article >正文

使用Python爬虫获取1688店铺所有商品信息的完整指南

article 2025/1/24 18:48:42

在当今的电商时代，获取电商平台的商品信息对于市场分析、竞争对手研究以及数据挖掘等任务至关重要。1688作为中国领先的B2B电商平台，拥有海量的商品和商家数据。通过Python爬虫技术结合1688的API接口，我们可以高效地获取店铺的所有商品信息。本文将详细介绍如何实现这一目标。

一、1688 API接口简介

1688开放平台提供了丰富的API接口，允许开发者通过合法的方式获取商品信息、店铺信息等数据。其中，item_search_shop 接口可以用于获取指定店铺的所有商品信息，包括商品标题、价格、图片链接、详情页地址等。

二、准备工作

注册1688开放平台账号
首先，需要在1688开放平台注册开发者账号，并创建应用以获取API密钥（包括App Key和App Secret）。这些密钥是调用API接口的身份验证凭证。
获取Access Token
使用App Key和App Secret通过OAuth 2.0授权获取Access Token。这是调用接口时必须提供的授权信息。
安装Python依赖库
确保安装了requests库，用于发送HTTP请求。可以通过以下命令安装：

bash
```
pip install requests
```

三、构建请求与获取数据

以下是使用Python调用item_search_shop接口获取店铺所有商品信息的完整代码示例：

Python

import requests

# 1. 设置API请求地址和参数
api_url = "https://api-gw.onebound.cn/1688/item_search_shop/"
params = {
    "key": "<您的App Key>",  # 替换为您的App Key
    "secret": "<您的App Secret>",  # 替换为您的App Secret
    "seller_nick": "店铺昵称或ID",  # 替换为目标店铺的昵称或ID
    "start_price": 0,  # 起始价格
    "end_price": 0,  # 结束价格
    "q": "",  # 搜索关键词，可选
    "page": 1,  # 当前页码
    "cid": "",  # 商品类目ID，可选
    "sort": "sale"  # 排序方式，如按销量排序
}

# 2. 设置请求头
headers = {
    "Accept-Encoding": "gzip",
    "Connection": "close"
}

# 3. 发送请求
response = requests.get(api_url, headers=headers, params=params)

# 4. 处理响应数据
if response.status_code == 200:
    data = response.json()
    items = data.get("items", {}).get("item", [])
    
    # 提取商品信息
    for item in items:
        title = item.get("title", "")
        price = item.get("price", "")
        pic_url = item.get("pic_url", "")
        detail_url = item.get("detail_url", "")
        print(f"Title: {title}, Price: {price}, Pic URL: {pic_url}, Detail URL: {detail_url}")
else:
    print("Request failed with status code:", response.status_code)

四、数据解析与存储

解析返回的数据
接口返回的数据通常为JSON格式，包含商品的详细信息。通过解析这些数据，可以提取出商品标题、价格、图片链接、详情页地址等字段。
存储数据
获取到的商品信息可以存储到本地文件或数据库中，方便后续的数据分析和处理。例如，可以使用pandas库将数据存储为CSV文件，或使用MySQL数据库进行存储。