当前位置：首页 > article >正文

利用Java爬虫获取京东商品SKU信息

article 2025/1/11 6:07:45

在当今数字化时代，电子商务平台如京东（JD）已成为我们日常生活中不可或缺的一部分。对于数据分析师、市场研究人员以及电子商务从业者来说，获取商品的详细信息（如SKU信息）是至关重要的。本文将介绍如何利用Java编写爬虫程序来获取京东商品的SKU信息。

1. 爬虫简介

爬虫（Web Crawler）是一种自动获取网页内容的程序。它通过网络抓取网页数据，并提取有用的信息。Java作为一门功能强大的编程语言，提供了丰富的库和工具来支持爬虫的开发。

2. 环境准备

在开始编写爬虫之前，我们需要准备以下环境和工具：

Java Development Kit (JDK)：确保已安装Java开发工具包。
Maven：用于项目依赖管理。
Jsoup：一个用于解析HTML的Java库，方便我们抓取和解析网页内容。
HttpClient：用于发送HTTP请求。

3. 项目结构

我们的项目结构如下：

jd-sku-crawler
│
├── src
│   ├── main
│   │   ├── java
│   │   │   └── com
│   │   │       └── example
│   │   │           └── jdsku
│   │   │               ├── Crawler.java
│   │   │               └── SkuExtractor.java
│   │   └── resources
│   └── test
│
├── pom.xml
└── README.md

4. Maven依赖

在pom.xml文件中添加以下依赖：

<dependencies>
    <!-- Jsoup for HTML parsing -->
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.14.3</version>
    </dependency>
    <!-- HttpClient for sending HTTP requests -->
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
        <version>4.5.13</version>
    </dependency>
</dependencies>

5. 编写爬虫代码

5.1 Crawler.java

Crawler.java是我们的主类，负责发送HTTP请求并调用解析器。

package com.example.jdsku;

import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;

public class Crawler {

    public static void main(String[] args) {
        String url = "https://item.jd.com/100012345678.html"; // 示例商品URL
        try (CloseableHttpClient httpClient = HttpClients.createDefault()) {
            HttpGet request = new HttpGet(url);
            request.setHeader("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3");
            try (CloseableHttpResponse response = httpClient.execute(request)) {
                if (response.getStatusLine().getStatusCode() == 200) {
                    String html = EntityUtils.toString(response.getEntity());
                    SkuExtractor.extractSku(html);
                } else {
                    System.out.println("Failed to retrieve the page: " + response.getStatusLine().getStatusCode());
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

5.2 SkuExtractor.java

SkuExtractor.java负责解析HTML内容并提取SKU信息。

package com.example.jdsku;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class SkuExtractor {

    public static void extractSku(String html) {
        Document doc = Jsoup.parse(html);
        Element skuElement = doc.select("div.sku-item-wrap").first(); // 根据实际页面结构调整选择器
        if (skuElement != null) {
            String sku = skuElement.text();
            System.out.println("SKU: " + sku);
        } else {
            System.out.println("SKU not found.");
        }
    }
}