【Python爬虫+JAVA】采集电商平台数据信息|淘宝|京东|1688|抖音数据返回
前言
随着电商平台的兴起，越来越多的人开始在网上购物。而对于电商平台来说，商品信息、价格、评论等数据是非常重要的。因此，抓取电商平台的商品信息、价格、评论等数据成为了一项非常有价值的工作。本文将介绍如何使用Python编写爬虫程序，抓取电商平台的商品信息、价格、评论等数据。
【查看演示】 API测试 注册KEY
taobao.item_get
公共参数
| 名称 | 类型 | 必须 | 描述 |
|---|---|---|---|
| key | String | 是 | 调用key（必须以GET方式拼接在URL中） |
| secret | String | 是 | 调用密钥 |
| api_name | String | 是 | API接口名称（包括在请求地址中）[item_search,item_get,item_search_shop等] |
| cache | String | 否 | [yes,no]默认yes，将调用缓存的数据，速度比较快 |
| result_type | String | 否 | [json,jsonu,xml,serialize,var_export]返回数据格式，默认为json，jsonu输出的内容中文可以直接阅读 |
| lang | String | 否 | [cn,en,ru]翻译语言，默认cn简体中文 |
| version | String | 否 | API版本 |
请求参数
请求参数：num_iid=652874751412&is_promotion=1
参数说明：num_iid:淘宝商品ID
is_promotion:是否获取取促销价
响应参数
Version: Date:2022-04-04
| 名称 | 类型 | 必须 | 示例值 | 描述 |
|---|---|---|---|---|
| item | item[] | 1 | 宝贝详情数据 |
分析目标网站
在开始编写爬虫程序之前，我们需要先分析目标网站的结构和数据。在本文中，我们选择抓取京东商城的商品信息、价格、评论等数据。
1.商品信息
-
商城的商品信息包括商品名称、商品编号、商品分类、商品品牌、商品型号、商品规格、商品产地、商品重量、商品包装等信息。这些信息可以在商品详情页面中找到。
-
价格
商城的商品价格包括商品原价、商品促销价、商品折扣等信息。这些信息可以在商品详情页面中找到。 -
评论
京东商城的商品评论包括用户评价、用户晒图、用户追评等信息。这些信息可以在商品详情页面中找到。
-
参数说明
- 通用参数说明
- 参数不要乱传，否则不管成功失败都会扣费
- url说明……cn/平台/API类型/ 平台：淘宝，京东等， API类型:[item_search,item_get,item_search_shop等]
- version:API版本
- key:调用key,测试key:test_api_key
- secret:调用secret,测试secret:(不用填写)
- cache:[yes,no]默认yes，将调用缓存的数据，速度比较快
- result_type:[json,xml,serialize,var_export]返回数据格式，默认为json
- lang:[cn,en,ru] 翻译语言，默认cn简体中文
- secret:密钥
-
API:item_search 参数说明：
- q:搜索关键字
- cat:分类ID
- start_price:开始价格
- end_price:结束价格
- sort:排序[bid,bid,bid2,_bid2,_sale,_credit]
(bid:总价,bid2:商品价格,sale:销量,credit信用,加前缀为从大到小排序) - page:页数
- page_size:每页宝贝数量，默认40
- seller_info:是否获取商家信息[yes,no],默认yes
-
API:item_get 参数说明: num_iid:宝贝ID
- 通用参数说明
-
此API目前支持以下基本接口：
- item_get 获得淘宝商品详情
- item_get_pro 获得淘宝商品详情高级版
- item_review 获得淘宝商品评论
- item_fee 获得淘宝商品快递费用
- item_password 获得淘口令真实url
- item_list_updown 批量获得淘宝商品上下架时间
- seller_info 获得淘宝店铺详情
- item_search 按关键字搜索淘宝商品
- item_search_tmall 按关键字搜索天猫商品
- item_search_pro 高级关键字搜索淘宝商品
- item_search_img 按图搜索淘宝商品（拍立淘）
- item_search_shop 获得店铺的所有商品
- item_search_seller 搜索店铺列表
- item_search_guang 爱逛街
- item_search_suggest 获得搜索词推荐
- item_search_jupage 天天特价
- item_search_coupon 优惠券查询
- cat_get 获得淘宝分类详情
- item_cat_get 获得淘宝商品类目
- item_search_samestyle 搜索同款的商品
- item_search_similar 搜索相似的商品
- item_sku 获取sku详细信息
- item_recommend 获取推荐商品列表
- brand_cat 获取品牌分类列表
- brand_cat_top 获取分类推荐品牌列表
- brand_cat_list 得到指定分类的品牌列表
- brand_keyword_list 得到指定关键词的品牌列表
- brand_info 得到品牌相关信息
- brand_product_list 得到指定品牌的产品
- custom 自定义API操作
- buyer_cart_add 添加到购物车
- buyer_cart_remove 删除购物车商品
- buyer_cart_clear 清空购物车
- buyer_cart_list 获取购物车的商品列表
- buyer_cart_order 将购物车商品保存为订单
- buyer_order_list 获取购买到的商品订单列表
- buyer_order_detail 获取购买到的商品订单详情
- buyer_order_express 获取购买到的商品订单物流
- buyer_order_message 获取购买到的订单买家留言
- buyer_address_list 收货地址列表
- buyer_address_clear 清除收货地址
- buyer_address_remove 删除收货地址
- buyer_address_modify 修改收货地址
- buyer_address_add 添加收货地址
- buyer_info 买家信息
- buyer_token 买家token
- seller_order_list 获取卖出的商品订单列表
- seller_order_detail 获取卖出的商品订单详情
- seller_order_close 卖家关闭一笔交易
- seller_order_message 获取或修改卖出去的订单备注
- seller_auction_list 商品可上下架商品列表
- seller_auction 商品上下架
- seller_item_add 商品上传
- upload_img 上传图片到淘宝
- img2text 图片识别商品接口
- tbk_order_query 淘宝客订单查询
- item_list_weight 批量获取商品信息
- item_history_price 获取商品历史价格信息
- item_get_app 获得淘宝app商品详情原数据