当前位置：首页 > article >正文

爬虫数据存储：Redis、MySQL 与 MongoDB 的对比与实践

article 2025/2/28 23:51:17

爬虫的核心任务是从网络中提取数据，而存储这些数据是流程中不可或缺的一环。根据业务需求的不同，存储的选择可能直接影响数据处理的效率和开发体验。本文将介绍三种常用的存储工具——Redis、MySQL 和 MongoDB，分析它们的特点，并提供相关的入库示例代码。

一、数据库选型分析

Redis：
- 特点：内存数据库，速度极快，支持多种数据结构（如字符串、哈希表、列表、集合等）。
- 适用场景：适合临时数据缓存、去重、任务队列等场景。
- 优点：高性能、简单易用。
- 缺点：数据量大时成本高（内存占用）。
MySQL：
- 特点：关系型数据库，结构化存储，支持 SQL 查询。
- 适用场景：需要复杂查询、事务支持的场景。
- 优点：稳定成熟、生态完善。
- 缺点：对频繁写入操作性能稍弱。
MongoDB：
- 特点：非关系型数据库，文档存储模式（JSON 格式），灵活性高。
- 适用场景：非结构化或半结构化数据存储，数据模型多变的场景。
- 优点：易扩展、查询灵活。
- 缺点：事务支持较弱，复杂查询性能略逊于 MySQL。

二、示例代码：存储爬取数据

我们以一个模拟的数据样例为例，展示如何分别将数据存储到 Redis、MySQL 和 MongoDB 中。

数据样例

data = {
    "id": 1,
    "title": "爬虫数据存储：Redis、MySQL 与 MongoDB 的对比与实践",
    "author": "CSDN-MySheep",
    "url": "https://blog.csdn.net/m0_60082046/article/details/144704817"
}

1. Redis 存储

import redis

# 连接 Redis
redis_client = redis.StrictRedis(host='localhost', port=6379, db=0)

# 将数据存入 Redis
redis_client.hset(f"article:{data['id']}", mapping=data)

# 验证存储结果
stored_data = redis_client.hgetall(f"article:{data['id']}")
print(f"Redis 存储结果：{stored_data}")

2. MySQL 存储

import pymysql

# 连接 MySQL
connection = pymysql.connect(host='localhost', user='root', password='password', database='crawler_db')
cursor = connection.cursor()

# 创建表（如果不存在）
cursor.execute("""
CREATE TABLE IF NOT EXISTS articles (
    id INT PRIMARY KEY,
    title VARCHAR(255),
    author VARCHAR(50),
    url VARCHAR(255)
)
""")

# 插入数据
sql = "INSERT INTO articles (id, title, author, url) VALUES (%s, %s, %s, %s)"
cursor.execute(sql, (data['id'], data['title'], data['author'], data['url']))

# 提交事务
connection.commit()
print(f"MySQL 存储完成：ID {data['id']}")

# 关闭连接
cursor.close()
connection.close()

3. MongoDB 存储

from pymongo import MongoClient

# 连接 MongoDB
mongo_client = MongoClient("mongodb://localhost:27017/")
db = mongo_client["crawler_db"]
collection = db["articles"]

# 插入数据
collection.insert_one(data)
print(f"MongoDB 存储完成：{data}")

三、Redis、MySQL 和 MongoDB 的对比

特性	Redis	MySQL	MongoDB
类型	内存数据库	关系型数据库	非关系型数据库
性能	高	中	较高
存储格式	Key-Value	表格（行、列）	文档（JSON 格式）
查询支持	简单查询	强大的 SQL 支持	灵活的文档查询
事务支持	基础事务支持	完备的事务支持	有限的事务支持
适用场景	缓存、任务队列	复杂查询、结构化存储	半结构化/非结构化存储

四、选择建议

如果需要高速缓存和简单存储：选择 Redis。
- 适合存储爬取任务队列、去重记录等。
- 在企业等工作中也会常用到Redis，因为入库是和采集是分开的，一般会使用Redis作为中间层，爬虫将数据推入Redis队列，负责入库的程序会读取数据进一步进行数据处理再转为结构化数据入库，例如外文翻译为中文，情感打分等。
如果数据有固定结构，需要复杂查询：选择 MySQL。
- 适合存储文章、用户信息等结构化数据。
如果数据格式灵活多变：选择 MongoDB。
- 适合爬取社交媒体、日志数据等非结构化内容。