Scrapy-Redis分布式爬虫
使用 Scrapy-Redis 实现分布式爬虫
在大规模数据爬取中，单台机器的性能可能难以满足需求，此时可以使用 Scrapy-Redis 构建分布式爬虫，通过多个节点协作来加速爬取任务。本文将介绍 Scrapy-Redis 的安装与配置，并通过一个示例演示如何使用。
1. 什么是 Scrapy-Redis
Scrapy-Redis 是 Scrapy 的扩展包，支持分布式爬虫的实现。其核心思想是使用 Redis 作为共享调度器，通过 Redis 的数据结构管理爬虫任务，从而实现任务的多节点分发和去重。
优势
- 分布式任务分配：多个节点协同工作，分担任务负载。
- 去重机制：通过 Redis 的键值特性，避免重复抓取。
- 任务恢复：即使某个节点故障，任务不会丢失，其它节点可以继续工作。
2. 环境准备
2.1 安装 Redis
-
下载并安装 Redis（官网：https://redis.io/）。
-
启动 Redis 服务：
redis-server
2.2 安装 Scrapy-Redis
使用 pip 安装 Scrapy-Redis：
pip install scrapy-redis
3. Scrapy-Redis 配置
在 Scrapy 项目中，修改以下配置文件以启用 Scrapy-Redis：
settings.py
# 启用分布式调度器，将请求保存到 Redis 中
SCHEDULER = 'scrapy_redis.scheduler.Scheduler'
# 确保所有爬虫通过 Redis 去重
DUPEFILTER_CLASS = 'scrapy_redis.dupefilter.RFPDupeFilter'
# 设置 Redis 连接信息
REDIS_URL = 'redis://127.0.0.1:6379'
修改爬虫类
- 如果原爬虫类继承自
CrawlSpider，需更改为RedisCrawlSpider。 - 如果原爬虫类继承自
Spider，需更改为RedisSpider。
示例代码：
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
name = "example"
redis_key = 'example:start_urls' # Redis 中的队列名称
def parse(self, response):
title = response.xpath('//title/text()').get()
print(f"Title: {title}")
4. 使用 Redis 分配任务
-
启动爬虫项目： 在项目路径下运行：
scrapy runspider example.py -
向 Redis 添加 URL 任务： 使用 Redis CLI 或 Python 脚本，向
redis_key定义的队列中添加初始任务 URL：redis-cli lpush example:start_urls "https://example.com" -
爬虫会从 Redis 中自动获取 URL，执行任务。
5. 示例：爬取学校公告数据
以下示例爬取一个学校官网的公告标题和链接，并将数据保存到 Excel 文件中。
爬虫代码
from scrapy_redis.spiders import RedisCrawlSpider
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import Rule
class AnnouncementSpider(RedisCrawlSpider):
name = "announcements"
redis_key = "announcements:start_urls"
rules = (
Rule(LinkExtractor(allow=r"info/1058/\d+.htm"), callback="parse_item", follow=False),
Rule(LinkExtractor(allow=r"xyxw1/\d+.htm"), follow=True),
)
def parse_item(self, response):
item = {}
item['title'] = response.xpath('//div[@class="content-title"]/h3/text()').get()
item['url'] = response.url
yield item
数据保存管道
将爬取的数据保存到 Excel 文件：
import openpyxl
import time
class SaveToExcelPipeline:
def open_spider(self, spider):
self.wb = openpyxl.Workbook()
self.sheet = self.wb.active
self.sheet.title = "公告数据"
self.sheet.append(['序号', '标题', '详情链接'])
self.num = 1
def process_item(self, item, spider):
self.sheet.append([self.num, item['title'], item['url']])
self.num += 1
return item
def close_spider(self, spider):
timestamp = time.strftime('%Y%m%d%H%M%S')
self.wb.save(f'announcements_{timestamp}.xlsx')
在 settings.py 中启用管道：
ITEM_PIPELINES = {
'myproject.pipelines.SaveToExcelPipeline': 300,
}
启动爬虫
-
在 Redis 中添加任务：
redis-cli lpush announcements:start_urls "https://www.example.com/announcements" -
启动多个节点运行爬虫，协同完成任务。
6. 模拟多节点分布式操作
在多个终端窗口中，分别运行 Scrapy 项目，确保所有节点使用相同的 Redis 数据库。Scrapy-Redis 会自动协调任务分配，避免重复抓取。
7. 总结
通过 Scrapy-Redis，开发者可以轻松构建分布式爬虫，大幅提升爬取效率和稳定性。其核心是 Redis 作为任务调度器与数据存储中枢，同时与 Scrapy 无缝集成，适合用于需要大规模数据抓取的场景。