当前位置：首页 > article >正文

爬虫程序如何存储数据到数据库？

article 2025/1/14 14:07:28

将爬虫程序中获取的数据存储到数据库是一个常见的需求，这不仅可以方便地管理和查询数据，还可以为后续的数据分析和应用提供支持。以下是一个详细的步骤指南，介绍如何将爬虫程序中获取的数据存储到数据库中，以 MySQL 为例。

一、准备工作

安装 MySQL：确保你的系统中已经安装了 MySQL 数据库。如果未安装，可以从 MySQL 官网下载并安装。

创建数据库和表：在 MySQL 中创建一个数据库和表，用于存储爬取的数据。例如，创建一个名为 ecommerce 的数据库和一个名为 product_comments 的表。

CREATE DATABASE ecommerce;
USE ecommerce;

CREATE TABLE product_comments (
    id INT AUTO_INCREMENT PRIMARY KEY,
    product_id VARCHAR(255) NOT NULL,
    content TEXT,
    nickname VARCHAR(255),
    time DATETIME
);

3.添加 MySQL 驱动依赖：在你的 Maven 项目中，添加 MySQL 驱动依赖，以便 Java 程序能够连接到 MySQL 数据库。

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>8.0.28</version>
</dependency>

二、编写数据存储代码

加载数据库驱动：在 Java 程序中加载 MySQL 驱动。

Class.forName("com.mysql.cj.jdbc.Driver");

2.建立数据库连接：使用 JDBC 连接到 MySQL 数据库。

String url = "jdbc:mysql://localhost:3306/ecommerce?useSSL=false&serverTimezone=UTC";
String username = "root";
String password = "your_password";
Connection connection = DriverManager.getConnection(url, username, password);

3.插入数据：编写 SQL 插入语句，将爬取到的数据插入到 product_comments 表中。

public void saveComments(List<Map<String, String>> comments, String productId) {
    String sql = "INSERT INTO product_comments (product_id, content, nickname, time) VALUES (?, ?, ?, ?)";
    try (Connection connection = DriverManager.getConnection(url, username, password);
         PreparedStatement statement = connection.prepareStatement(sql)) {
        for (Map<String, String> comment : comments) {
            statement.setString(1, productId);
            statement.setString(2, comment.get("content"));
            statement.setString(3, comment.get("nickname"));
            statement.setString(4, comment.get("time"));
            statement.addBatch();
        }
        statement.executeBatch();
    } catch (SQLException e) {
        e.printStackTrace();
    }
}

三、完整示例

以下是一个完整的示例，展示如何将爬取到的 1688 商品评论数据存储到 MySQL 数据库中。

import java.sql.*;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;

public class CommentCrawler {

    private static final String url = "jdbc:mysql://localhost:3306/ecommerce?useSSL=false&serverTimezone=UTC";
    private static final String username = "root";
    private static final String password = "your_password";

    public static void main(String[] args) {
        try {
            Class.forName("com.mysql.cj.jdbc.Driver");
            List<Map<String, String>> comments = crawlProductComments("商品ID");
            saveComments(comments, "商品ID");
        } catch (ClassNotFoundException | SQLException e) {
            e.printStackTrace();
        }
    }

    public static List<Map<String, String>> crawlProductComments(String productId) {
        List<Map<String, String>> comments = new ArrayList<>();
        // 爬虫逻辑，假设已经爬取到评论数据
        Map<String, String> comment1 = new HashMap<>();
        comment1.put("content", "商品质量很好，非常满意！");
        comment1.put("nickname", "用户1");
        comment1.put("time", "2025-01-13 10:00:00");
        comments.add(comment1);

        Map<String, String> comment2 = new HashMap<>();
        comment2.put("content", "物流速度很快，赞一个！");
        comment2.put("nickname", "用户2");
        comment2.put("time", "2025-01-12 15:30:00");
        comments.add(comment2);

        return comments;
    }

    public static void saveComments(List<Map<String, String>> comments, String productId) {
        String sql = "INSERT INTO product_comments (product_id, content, nickname, time) VALUES (?, ?, ?, ?)";
        try (Connection connection = DriverManager.getConnection(url, username, password);
             PreparedStatement statement = connection.prepareStatement(sql)) {
            for (Map<String, String> comment : comments) {
                statement.setString(1, productId);
                statement.setString(2, comment.get("content"));
                statement.setString(3, comment.get("nickname"));
                statement.setString(4, comment.get("time"));
                statement.addBatch();
            }
            statement.executeBatch();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
}