当前位置：首页 > article >正文

爬虫工作量由小到大的思维转变---＜第四十三章 Scrapy Redis mysql数据连通问题(2)＞

article 2025/3/13 5:09:44

前言:

接上一章的爬虫工作量由小到大的思维转变---＜第四十一章 Scrapy Redis 转mysql数据连通问题＞-CSDN博客

这一章主要是讲关于多机连上sql要注意的问题!

正文:

会遇到哪些问题:

数据重复写入：当多个Scrapy-Redis实例同时运行并将数据写入同一个MySQL数据库时，可能会导致数据重复写入的问题。这是因为Scrapy-Redis使用分布式爬取的原理，多个实例可能会同时获取相同的URL并产生重复的数据。为了解决这个问题，可以在Scrapy-Redis中添加去重处理，例如使用请求指纹（request fingerprint）进行去重。
数据冲突和并发性问题：在多台机器同时向同一个MySQL数据库写入数据时，可能会出现数据冲突和并发性问题。这是因为多个机器同时写入数据时，可能会对同一个数据库表进行操作，导致数据的一致性和完整性问题。为了解决这个问题，可以考虑使用数据库事务（database transaction）、加锁机制或者分布式锁来确保数据的一致性和并发性。
数据同步延迟：由于网络延迟等原因，当多台机器同时写入MySQL数据库时，数据同步可能会有一定的延迟。这意味着数据在一个机器上写入后，需要一定的时间才能在其他机器上同步更新。为了解决这个问题，可以使用异步写入或者定时任务等方法来确保数据同步并保持一致性。
数据库连接数限制：当多台机器同时连接到同一个MySQL数据库时，可能会遇到数据库连接数限制的问题。MySQL服务器通常有默认的最大连接数限制，如果超过了这个限制，可能会导致连接被拒绝或无法正常连接。为了解决这个问题，可以根据需求调整MySQL服务器的最大连接数配置，或者使用连接池来管理连接和提高连接的复用性。

在使用Scrapy-Redis在多台电脑上向同一个MySQL数据库写入数据时，需要注意数据重复写入、数据冲突和并发性问题、数据同步延迟以及数据库连接数限制等可能遇到的问题。根据实际需求，可以使用去重处理、事务或锁机制、异步写入或定时任务、调整最大连接数等方法来解决这些问题。保证数据的一致性、完整性和高可用性是在多台机器上同时写入MySQL时需要特别关注的问题。

用一个最简单的方式解决一些棘手的问题:

from sqlalchemy import create_engine


engine = create_engine(
    "mysql+pymysql://用户名:密码@localhost(或者ip地址):3306/数据库名",
    pool_size=10,  # 连接池大小
    max_overflow=20,  # 允许超出连接池大小的最大连接数
    pool_timeout=30,  # 获取连接的最大等待时间（秒）
    pool_recycle=1800,  # 连接回收时间（秒）
)

在通过pymysql和SQLAlchemy进行多并发写入时，使用如上所示的设置有以下好处：

Connection Pool（连接池）：通过设置pool_size参数，可以指定连接池的大小。连接池允许维护多个数据库连接，这样在并发写入时可以重用数据库连接，避免频繁的建立和关闭连接，提高性能和效率。
Max Overflow（超出连接池大小的最大连接数）：通过设置max_overflow参数，可以允许连接池中的连接数量超过pool_size的大小。当并发写入的请求数量超过连接池大小时，可以创建额外的连接以满足更高的并发需求，避免请求被阻塞或排队等待。
Pool Timeout（获取连接的最大等待时间）：通过设置pool_timeout参数，可以指定获取数据库连接的最大等待时间。如果连接池中的连接已被其他连接占用完，并且在超过指定的等待时间后仍然没有可用连接，则新的请求将放弃等待并抛出适当的异常或错误。
Pool Recycle（连接回收时间）：通过设置pool_recycle参数，在连接周期内保持连接的最大时间。这有助于防止连接变得过期或无效，因为在一段时间后连接将被回收并重新创建，以避免潜在的性能问题。