当前位置： 首页 > article >正文

【Python爬虫实战】从文件到数据库：全面掌握Python爬虫数据存储技巧

article 2024/10/20 2:28:00

  🌈个人主页：https://blog.csdn.net/2401_86688088?type=blog
🔥 系列专栏：https://blog.csdn.net/2401_86688088/category_12797772.html

目录

前言

一、文本文件数据存储的基础

二、如何将爬取的数据存储为.txt文件

三、如何将数据存储为.csv文件

四、如何将数据存储为.json文件

五、如何选择合适的存储格式

六、MySQL存储

（一）环境准备

（二）连接MySQL数据库

（三）创建数据库和表

（四）插入数据到MySQL

（五）查询数据

（六）更新和删除数据

（七）断开连接

（八）MySQL存储总结

七、MongoDB存储

（一）安装MongoDB和Python库

（二）连接MongoDB数据库

（三）创建集合

（四）插入数据

（五）查询数据

（六）更新数据

（七）删除数据

（八）断开连接

（九）MongoDB存储总结

八、总结

前言

在数据驱动的时代，爬虫技术已经成为获取和收集网络数据的重要工具。然而，仅仅获取数据还不够，如何高效、合理地存储这些数据，才能让其真正发挥价值。Python提供了多种数据存储方式，包括简单的文本文件（如.txt、.csv、.json），以及高级数据库（如MySQL和MongoDB）。本篇文章将深入剖析如何将爬取的数据灵活存储于不同格式和数据库中，帮助你选择最适合自己项目的存储方式。

本文将通过详细的代码示例，逐步讲解如何将数据存储在不同格式的文件中，以及如何将数据存入MySQL和MongoDB数据库中，以满足不同类型爬虫项目的需求。无论你是初学者还是开发者，相信你都会从本文中找到适合你的解决方案。

一、文本文件数据存储的基础

Python中常见的文本文件格式包括：

  • .txt：纯文本文件，适合存储不需要特定格式的内容。

  • .csv：逗号分隔文件，适合存储表格化数据。

  • .json：JavaScript Object Notation格式，适合存储结构化数据（如字典、列表）。

二、如何将爬取的数据存储为.txt文件

示例：

# 保存为 .txt 文件
data = "这是从网站爬取的内容"

# 写入文本文件
with open("data.txt", "w", encoding="utf-8") as f:
    f.write(data)
print("数据已保存到 data.txt")

注意事项：

  1. 编码问题：爬取的中文或其他特殊字符内容需要指定encoding="utf-8"，避免乱码。

  2. 覆盖写入：使用"w"模式会覆盖原有内容，如需追加内容，可以用"a"模式。

三、如何将数据存储为.csv文件

示例：

import csv

# 模拟爬取的表格数据
data = [
    ["标题", "链接", "日期"],
    ["Python教程", "https://example.com", "2024-10-19"],
    ["爬虫入门", "https://example2.com", "2024-10-18"]
]

# 写入CSV文件
with open("data.csv", "w", newline="", encoding="utf-8") as f:
    writer = csv.writer(f)
    writer.writerows(data)
print("数据已保存到 data.csv")

注意事项：

  1. 表格数据格式：csv文件需要结构化数据，如列表或元组。

  2. newline=""：防止在Windows下写入多余的空行。

四、如何将数据存储为.json文件

示例：

import json

# 模拟爬取的数据
data = {
    "标题": "Python爬虫教程",
    "链接": "https://example.com",
    "日期": "2024-10-19"
}

# 写入JSON文件
with open("data.json", "w", encoding="utf-8") as f:
    json.dump(data, f, ensure_ascii=False, indent=4)
print("数据已保存到 data.json")

注意事项：

  1. ensure_ascii=False：避免中文字符在保存时被转义成Unicode编码。

  2. indent=4：使生成的JSON文件格式化，易于阅读。

五、如何选择合适的存储格式

  • .txt文件：适合存储非结构化的文本数据，如文章内容、日志等。

  • .csv文件：适合存储二维表格数据，如新闻标题和日期等。

  • .json文件：适合存储层次化结构数据，如字典列表。

六、MySQL存储

使用MySQL来存储爬取的数据是非常常见且有效的做法，尤其适合管理和查询大量结构化数据。下面，我会详细介绍如何将爬取的数据存入MySQL数据库，包括准备环境、数据库连接、创建表、插入数据等关键步骤。

（一）环境准备

1.安装MySQL

  • Windows / Mac：可以从MySQL官网下载并安装。

  • Linux：使用apt或yum安装，例如：

sudo apt update
sudo apt install mysql-server

2.安装Python的MySQL库

推荐使用mysql-connector-python或pymysql库。安装命令：

pip install mysql-connector-python

或

pip install pymysql

（二）连接MySQL数据库

示例：

import mysql.connector

# 连接到MySQL数据库
db = mysql.connector.connect(
    host="localhost",  # 数据库地址
    user="your_username",  # 用户名
    password="your_password",  # 密码
    database="your_database"  # 数据库名称
)

print("连接成功")
cursor = db.cursor()

注意事项：

  1. MySQL服务需要启动。可以通过sudo service mysql start（Linux）或手动启动（Windows）。

  2. 检查用户权限，确保该用户有权限操作对应的数据库。

（三）创建数据库和表

创建数据库：

cursor.execute("CREATE DATABASE IF NOT EXISTS your_database")
print("数据库创建成功")

创建表结构：

# 创建一个用于存储爬取数据的表
cursor.execute("""
    CREATE TABLE IF NOT EXISTS web_data (
        id INT AUTO_INCREMENT PRIMARY KEY,
        title VARCHAR(255),
        url VARCHAR(255),
        date DATE
    )
""")
print("表创建成功")

（四）插入数据到MySQL

示例：

# 模拟爬取的数据
data = [
    ("Python教程", "https://example.com", "2024-10-19"),
    ("爬虫入门", "https://example2.com", "2024-10-18")
]

# 插入数据的SQL语句
insert_query = "INSERT INTO web_data (title, url, date) VALUES (%s, %s, %s)"

# 执行批量插入
cursor.executemany(insert_query, data)
db.commit()  # 提交事务
print(f"成功插入{cursor.rowcount}条数据")

注意事项：

  1. 事务提交：通过db.commit()确保数据插入成功。

  2. 批量插入：使用executemany()可以高效插入多条数据。

（五）查询数据

示例：

# 查询所有数据
cursor.execute("SELECT * FROM web_data")
results = cursor.fetchall()

# 输出查询结果
for row in results:
    print(row)

结果：

(1, 'Python教程', 'https://example.com', datetime.date(2024, 10, 19))
(2, '爬虫入门', 'https://example2.com', datetime.date(2024, 10, 18))

（六）更新和删除数据

更新数据：

update_query = "UPDATE web_data SET title = %s WHERE id = %s"
cursor.execute(update_query, ("Python进阶教程", 1))
db.commit()
print("数据更新成功")

删除数据：

delete_query = "DELETE FROM web_data WHERE id = %s"
cursor.execute(delete_query, (2,))
db.commit()
print("数据删除成功")

（七）断开连接

示例：

# 关闭游标和数据库连接
cursor.close()
db.close()
print("数据库连接已关闭")

（八）MySQL存储总结

将爬取的数据存储在MySQL中具有以下优点：

  1. 高效查询：通过SQL语句可以快速查找和过滤数据。

  2. 数据管理：支持更新、删除数据，更适合大规模爬取项目。

  3. 结构化存储：非常适合存储结构化的数据，如文章标题和链接。

七、MongoDB存储

使用 MongoDB 存储爬取数据是非常合适的选择，尤其是当数据结构复杂或需要灵活存储时。MongoDB是一个 NoSQL 数据库，适合存储 JSON 格式的文档数据。接下来，我会详细介绍如何将爬取的数据存储在 MongoDB 中，包括安装、连接、存储、查询等操作。

（一）安装MongoDB和Python库

1.安装MongoDB

  • Windows / Mac：从 MongoDB官网 下载并安装。

  • Linux：使用以下命令安装：

sudo apt update
sudo apt install -y mongodb
sudo systemctl start mongodb  # 启动MongoDB服务

2.安装Python库pymongo

MongoDB的Python客户端为pymongo。你可以通过以下命令安装：

pip install pymongo

（二）连接MongoDB数据库

示例：

from pymongo import MongoClient

# 连接到MongoDB服务
client = MongoClient("mongodb://localhost:27017/")

# 选择数据库（如果不存在会自动创建）
db = client["web_scraping"]

print("连接成功")

（三）创建集合

在MongoDB中，数据存储在集合中，类似于关系型数据库中的表。集合会在插入数据时自动创建。

# 创建或选择集合（类似于SQL中的表）
collection = db["web_data"]

（四）插入数据

MongoDB的文档格式与JSON相同，非常适合存储嵌套数据结构。

1.插入单条数据

data = {
    "title": "Python爬虫教程",
    "url": "https://example.com",
    "date": "2024-10-19"
}

# 插入数据
collection.insert_one(data)
print("单条数据插入成功")

2.插入多条数据

data_list = [
    {"title": "Python入门", "url": "https://example1.com", "date": "2024-10-18"},
    {"title": "高级爬虫", "url": "https://example2.com", "date": "2024-10-17"}
]

# 批量插入数据
collection.insert_many(data_list)
print("多条数据插入成功")

（五）查询数据

1.查询所有数据

# 查询集合中的所有数据
results = collection.find()

# 输出查询结果
for result in results:
    print(result)

结果：

{'_id': ObjectId('...'), 'title': 'Python入门', 'url': 'https://example1.com', 'date': '2024-10-18'}
{'_id': ObjectId('...'), 'title': '高级爬虫', 'url': 'https://example2.com', 'date': '2024-10-17'}

2.条件查询

# 查询特定条件的数据
result = collection.find_one({"title": "Python入门"})
print(result)

（六）更新数据

示例：

# 更新特定文档的数据
collection.update_one(
    {"title": "Python入门"},  # 查询条件
    {"$set": {"title": "Python入门教程"}}  # 更新内容
)
print("数据更新成功")

（七）删除数据

示例：

# 删除单条数据
collection.delete_one({"title": "高级爬虫"})
print("单条数据删除成功")

# 删除多条数据
collection.delete_many({"date": {"$lt": "2024-10-18"}})
print("多条数据删除成功")

（八）断开连接

# 关闭数据库连接
client.close()
print("数据库连接已关闭")

（九）MongoDB存储总结

使用MongoDB存储爬取数据的优点：

  1. 灵活的数据结构：无需预定义表结构，适合存储复杂的嵌套数据。

  2. 高效的读写性能：支持大规模数据的高效存储和查询。

  3. JSON格式支持：爬取的数据通常以JSON格式存储，直接适配MongoDB。

八、总结

数据存储的方式和格式对于爬虫项目的效率和效果至关重要。本篇文章系统地介绍了Python爬虫数据的存储方式，涵盖了从基础的TXT、CSV和JSON格式到高级的MySQL和MongoDB数据库。

  • 简单数据存储：
    使用TXT文件存储纯文本内容，适合日志或简单记录。CSV文件非常适合存储表格数据，方便后续数据分析和展示。而JSON格式更适合存储复杂、嵌套的结构化数据。

  • 高级数据存储：
    对于需要频繁查询和更新的数据，MySQL提供了稳定的关系型存储支持。而MongoDB由于其灵活的JSON格式支持，非常适合处理非结构化数据，尤其是在数据结构不固定的情况下。

通过这些不同存储方式的掌握，你可以根据项目需求选择合适的存储方案，为数据处理和分析奠定坚实基础。希望这篇文章能够帮助你在数据存储方面更上一层楼，为你的爬虫项目注入新活力。


http://www.kler.cn/news/356680.html

相关文章：

  • Leecode刷题之路第25天之K个一组翻转链表
  • Bootstrapping、Bagging 和 Boosting
  • 一个mmcv库与chamfer库不兼容的问题
  • OpenCV高级图形用户界面(11)检查是否有键盘事件发生而不阻塞当前线程函数pollKey()的使用
  • 推荐一个处理数据非常好用的在线工具
  • 2024软考网络工程师笔记 - 第3章.广域通信网
  • React 探秘(二)： 双缓存技术
  • RHCE —— 笔记
  • 解决一个android service启动无法开文件的问题
  • 总结：SQL查询变慢，常见原因分析！
  • HarmonyOS 应用级状态管理（LocalStorage、AppStorage、PersistentStorage）
  • 美​团​一​面​-​3​​宁​德​时​代​一​面
  • MySQL-20.多表设计-一对一多对多
  • 【windows】win10提示‘adb‘ 不是内部或外部命令，也不是可运行的程序或批处理文件。
  • 视频美颜SDK与直播平台的融合：实现实时美颜的技术方案详解
  • Golang Map简介
  • JAVA毕业设计190—基于Java+Springboot+vue的景区旅游推荐管理系统(源代码+数据库+7000字论文)
  • MySQL 创建数据库
  • 三、MyBatis实践：提高持久层数据处理效率(1)(包含mybatis下载官网)
  • 【Qt】Qt界面美化 | 绘画