当前位置：首页 > article >正文

Python 爬取 1688 关键词搜索接口数据返回说明

article 2025/3/25 5:11:38

在当今的电子商务时代，获取商品信息对于商家和消费者都具有重要意义。1688 作为国内知名的 B2B 电商平台，提供了丰富的商品数据。通过利用 Python 爬虫技术，我们可以自动化地获取 1688 平台上按关键字搜索的商品信息，从而为数据分析、市场调研等提供有力支持。

一、准备工作

（一）注册 1688 开发者账号

在开始爬取之前，需要在 1688 开放平台注册一个开发者账号，并创建一个新的应用。通过创建的应用，开发者可以获得应用的 app_key 和 app_secret，这是后续请求接口时身份验证的重要依据。

（二）环境准备

确保你的开发环境中已安装以下工具和库：

Python 3.x：确保已安装 Python 的最新版本。
Requests 库：用于发送 HTTP 请求。
Pandas 库：用于数据处理和分析。

可以通过以下命令安装所需的库：

bash复制

pip install requests pandas

二、获取 Access Token

大多数 API 接口都需要一个 Access Token 来进行身份验证。这通常需要通过 OAuth2.0 授权流程获取，涉及到 app_key 和 app_secret 的交换。

以下是一个示例函数，用于获取 Access Token：

Python

import requests

def get_access_token(app_key, app_secret):
    url = "https://eco.taobao.com/router/rest"
    params = {
        "app_key": app_key,
        "app_secret": app_secret,
        "grantType": "client_credentials",
        "timestamp": int(time.time())
    }
    response = requests.get(url, params=params)
    return response.json().get("access_token")

三、构建 API 请求

1688 的关键词搜索商品 API 接口允许开发者通过输入特定的关键词，在 1688 平台上搜索并获取相关商品的列表信息。此接口支持自定义配置勾选条件，如价格、销量、月代销区间等，以满足开发者多样化的搜索需求。

（一）请求参数

q：搜索关键字
start_price 和 end_price：设置价格范围
page：指定返回结果的页码
page_size：设置每页显示的商品数量
sort：设置商品的排序方式，如按价格从低到高（price）、销量从高到低（_sale）等。

（二）生成签名

1688 的 API 要求所有请求都需要签名，以确保请求的安全性。签名的生成规则通常包括将所有请求参数按字典序排序，拼接成字符串，然后使用 app_secret 进行加密。

以下是一个简单的签名生成函数：

Python

import hashlib
import hmac
import time
import urllib.parse

def generate_sign(params, secret):
    sorted_params = sorted(params.items())
    sign_str = "&".join(["%s=%s" % (urllib.parse.quote(k), urllib.parse.quote(str(v))) for k, v in sorted_params])
    sign_str = sign_str + "&secret=" + secret
    sign = hmac.new(secret.encode("utf-8"), sign_str.encode("utf-8"), hashlib.md5).hexdigest().upper()
    return sign

（三）发送请求

以下是一个完整的 Python 代码示例，展示了如何使用 1688 的关键字搜索接口：

Python

import requests
import time

def search_products(keyword, page=1, page_size=40, sort="price"):
    app_key = "YOUR_APP_KEY"
    app_secret = "YOUR_APP_SECRET"
    access_token = get_access_token(app_key, app_secret)

    params = {
        "app_key": app_key,
        "method": "alibaba.item.search",
        "format": "json",
        "v": "2.0",
        "sign_method": "md5",
        "timestamp": str(int(time.time())),
        "q": keyword,
        "page": page,
        "page_size": page_size,
        "sort": sort
    }
    sign = generate_sign(params, app_secret)
    params["sign"] = sign

    response = requests.get("https://gw.api.taobao.com/router/rest", params=params)
    return response.json()

keyword = "女装"
result = search_products(keyword)
if result:
    for item in result.get("item_list", []):
        print(item.get("title"), item.get("price"))

四、解析返回数据

API 调用成功后，你会收到一个包含关键词数据的 JSON 响应。使用 Python 的 json 库或 pandas 库可以方便地解析和处理这些数据。

以下是一个示例，展示如何解析返回的数据：

Python

import pandas as pd

def save_to_csv(data, filename="product_data.csv"):
    df = pd.DataFrame(data)
    df.to_csv(filename, index=False, encoding="utf-8")

product_data = result.get("item_list", [])
save_to_csv(product_data)