当前位置：首页 > article >正文

如何将爬取的评论数据存储到数据库？

article 2025/3/31 17:10:16

在使用Python爬虫获取1688商品评论后，将这些数据存储到数据库中是一个常见的需求。这样可以方便后续的数据分析、查询和管理。本文将详细介绍如何将爬取的评论数据存储到数据库中，包括MySQL和SQLite两种常见的数据库。

一、准备工作

1. 安装必要的Python库

安装以下Python库，用于数据库操作：

MySQL：mysql-connector-python
SQLite：sqlite3（内置）

安装MySQL连接器：

bash

pip install mysql-connector-python

2. 数据库连接配置

确保你已经安装并配置了MySQL数据库。SQLite数据库则无需额外安装，因为它是一个轻量级的嵌入式数据库。

二、存储到MySQL数据库

1. 创建数据库和表

首先，创建一个MySQL数据库和表来存储评论数据。假设数据库名为ecommerce，表名为comments。

sql

CREATE DATABASE ecommerce;

USE ecommerce;

CREATE TABLE comments (
    id INT AUTO_INCREMENT PRIMARY KEY,
    nickname VARCHAR(255),
    content TEXT,
    time DATETIME
);

2. Python代码示例

使用mysql-connector-python库将评论数据存储到MySQL数据库。

Python

import mysql.connector
from mysql.connector import Error

def save_to_mysql(comments_data):
    try:
        connection = mysql.connector.connect(
            host='localhost',  # 数据库主机地址
            database='ecommerce',  # 数据库名称
            user='your_username',  # 数据库用户名
            password='your_password'  # 数据库密码
        )
        if connection.is_connected():
            cursor = connection.cursor()
            for comment in comments_data:
                cursor.execute(
                    "INSERT INTO comments (nickname, content, time) VALUES (%s, %s, %s)",
                    (comment['nickname'], comment['content'], comment['time'])
                )
            connection.commit()
            print("数据已成功存储到MySQL数据库")
    except Error as e:
        print(f"数据库连接失败：{e}")
    finally:
        if connection.is_connected():
            cursor.close()
            connection.close()
            print("MySQL连接已关闭")

# 示例：存储评论数据
comments_data = [
    {'nickname': '用户1', 'content': '商品很好，值得购买！', 'time': '2024-03-27 10:00:00'},
    {'nickname': '用户2', 'content': '质量不错，性价比高。', 'time': '2024-03-27 10:30:00'}
]

save_to_mysql(comments_data)

三、存储到SQLite数据库

1. 创建数据库和表

SQLite数据库是一个轻量级的嵌入式数据库，无需安装额外的数据库服务器。创建一个SQLite数据库和表来存储评论数据。

Python

import sqlite3

def create_sqlite_db():
    connection = sqlite3.connect('ecommerce.db')
    cursor = connection.cursor()
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS comments (
            id INTEGER PRIMARY KEY AUTOINCREMENT,
            nickname TEXT,
            content TEXT,
            time TEXT
        )
    ''')
    connection.commit()
    connection.close()

create_sqlite_db()

2. Python代码示例

使用sqlite3库将评论数据存储到SQLite数据库。

Python

def save_to_sqlite(comments_data):
    connection = sqlite3.connect('ecommerce.db')
    cursor = connection.cursor()
    for comment in comments_data:
        cursor.execute(
            "INSERT INTO comments (nickname, content, time) VALUES (?, ?, ?)",
            (comment['nickname'], comment['content'], comment['time'])
        )
    connection.commit()
    connection.close()
    print("数据已成功存储到SQLite数据库")

# 示例：存储评论数据
comments_data = [
    {'nickname': '用户1', 'content': '商品很好，值得购买！', 'time': '2024-03-27 10:00:00'},
    {'nickname': '用户2', 'content': '质量不错，性价比高。', 'time': '2024-03-27 10:30:00'}
]

save_to_sqlite(comments_data)