当前位置：首页 > article >正文

使用Java爬虫根据关键词获取Shopee商品列表？

article 2025/3/27 22:33:49

在跨境电商领域，Shopee作为东南亚及中国台湾地区领先的电商平台，拥有海量的商品信息。无论是进行市场调研、数据分析，还是寻找热门商品，根据关键词获取Shopee商品列表都是一项极具价值的任务。然而，手动浏览和整理这些信息显然是低效且容易出错的。幸运的是，通过编写Java爬虫程序，我们可以高效地完成这一任务。本文将详细介绍如何利用Java爬虫根据关键词获取Shopee商品列表，并提供完整的代码示例。

一、为什么选择Java爬虫？

Java是一种广泛使用的编程语言，特别适合用于开发稳定且高效的爬虫程序。以下是Java爬虫的几个优势：

强大的库支持
Java拥有丰富的第三方库，如HttpClient用于发送HTTP请求，Gson或Jackson用于解析JSON数据。
稳定性和性能
Java的多线程支持和良好的内存管理使其在处理大量数据时表现出色。
跨平台特性
Java程序可以在任何支持JVM的操作系统上运行，具有良好的兼容性。

二、准备工作

在开始编写爬虫之前，我们需要做好以下准备工作：

Java开发环境
确保你的电脑上安装了Java开发工具包（JDK），并配置了环境变量。推荐使用JDK 11及以上版本。

安装必要的库
我们需要以下Java库：

HttpClient：用于发送HTTP请求。
Gson：用于解析JSON数据。

如果你使用Maven作为项目管理工具，可以在pom.xml文件中添加以下依赖：

xml

<dependencies>
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.13</version>
    </dependency>
    <dependency>
        <groupId>com.google.code.gson</groupId>
        <artifactId>gson</artifactId>
        <version>2.8.6</version>
    </dependency>
</dependencies>

三、代码实现

1. 发送HTTP请求获取商品列表

Shopee提供了API接口用于根据关键词搜索商品。通过关键词，我们可以发送请求并获取商品列表。

示例代码：

java

import com.google.gson.Gson;
import com.google.gson.JsonObject;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

import java.io.IOException;

public class ShopeeCrawler {
    public static JsonObject fetchShopeeProductList(String keyword) {
        String url = "https://shopee.tw/api/v2/search_items/?by=relevancy&keyword=" + keyword + "&limit=100";
        try (CloseableHttpClient httpClient = HttpClients.createDefault()) {
            HttpGet request = new HttpGet(url);
            request.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36");
            request.setHeader("Accept", "application/json");

            try (CloseableHttpResponse response = httpClient.execute(request)) {
                if (response.getStatusLine().getStatusCode() == 200) {
                    String jsonResponse = EntityUtils.toString(response.getEntity());
                    return new Gson().fromJson(jsonResponse, JsonObject.class);
                } else {
                    System.out.println("请求失败，状态码：" + response.getStatusLine().getStatusCode());
                    return null;
                }
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

    public static void main(String[] args) {
        String keyword = "手机"; // 替换为实际关键词
        JsonObject productData = fetchShopeeProductList(keyword);
        if (productData != null) {
            System.out.println(productData.toString());
        }
    }
}

2. 解析商品列表并保存到CSV文件

获取到的JSON数据可以通过Gson库解析，并提取关键信息。

示例代码：

java

import com.google.gson.Gson;
import com.google.gson.JsonArray;
import com.google.gson.JsonObject;
import com.google.gson.JsonParser;

import java.io.FileWriter;
import java.io.IOException;
import java.util.Iterator;

public class ShopeeCrawler {
    public static void saveProductList(JsonObject data, String filePath) {
        JsonArray items = data.getAsJsonArray("items");
        try (FileWriter writer = new FileWriter(filePath)) {
            writer.append("商品名称,价格,库存,销量,商品链接\n");
            for (int i = 0; i < items.size(); i++) {
                JsonObject item = items.get(i).getAsJsonObject();
                String name = item.get("name").getAsString();
                double price = item.get("price").getAsDouble() / 100000; // Shopee价格单位为分
                int stock = item.get("stock").getAsInt();
                int sold = item.get("sold").getAsInt();
                String link = "https://shopee.tw/" + name + "-i." + item.get("shopid").getAsString() + "." + item.get("itemid").getAsString();

                writer.append(String.format("%s,%f,%d,%d,%s\n", name, price, stock, sold, link));
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public static void main(String[] args) {
        String keyword = "手机"; // 替换为实际关键词
        String outputFilePath = "shopee_product_list.csv";

        JsonObject productData = fetchShopeeProductList(keyword);
        if (productData != null) {
            saveProductList(productData, outputFilePath);
            System.out.println("商品列表已保存到 " + outputFilePath);
        }
    }
}