当前位置： 首页 > article >正文

【Python爬虫(51)】深入剖析Scrapy框架：解锁高效爬虫的核心奥秘

article 2025/2/24 5:40:02

【Python爬虫】专栏简介：本专栏是 Python 爬虫领域的集大成之作，共 100 章节。从 Python 基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取，还涉及数据处理与分析。无论是新手小白还是进阶开发者，都能从中汲取知识，助力掌握爬虫核心技能，开拓技术视野。

目录

  • 一、引言
  • 二、Scrapy 框架的核心组件
    • 2.1 Spider
    • 2.2 Item
    • 2.3 Pipeline
    • 2.4 Downloader
  • 三、Scrapy 的请求调度机制与优先级设置
    • 3.1 请求调度机制
    • 3.2 优先级设置
  • 四、自定义 Scrapy 中间件
    • 4.1 下载中间件
    • 4.2 Spider 中间件
  • 五、总结与展望

一、引言

在 Python 爬虫领域，Scrapy 框架犹如一颗璀璨的明星，以其高效、灵活和强大的功能，成为众多开发者进行数据抓取的首选工具。它就像是一个精心设计的工厂流水线，各个组件协同工作，能够快速、稳定地从网页中提取我们所需的数据。无论是大规模的数据采集，还是对复杂网页结构的解析，Scrapy 都能应对自如。

今天，我们就来深入剖析 Scrapy 框架，揭开其核心组件、请求调度机制以及自定义中间件的神秘面纱，让大家对这个强大的爬虫框架有更全面、更深入的理解，从而在实际应用中能够更加得心应手地使用它。

二、Scrapy 框架的核心组件

2.1 Spider

Spider 是 Scrapy 框架中负责定义爬取逻辑和解析网页的组件，它就像是一位经验丰富的探险家，深入网页的各个角落，寻找我们需要的数据。在 Spider 中，我们可以定义起始 URL、解析函数以及如何跟进新的 URL。

以爬取豆瓣电影 Top250 为例，以下是一个简单的 Spider 示例：

import scrapy


class DoubanSpider(scrapy.Spider):
    name = 'douban'
    allowed_domains = ['movie.douban.com']
    start_urls = ['https://movie.douban.com/top250']

    def parse(self, response):
        for movie in response.css('.item'):
            item = {
                'title': movie.css('.title::text').get(),
                'rating': movie.css('.rating_num::text').get(),
                'quote': movie.css('.inq::text').get()
            }
            yield item

        next_page = response.css('.next a::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

在这个示例中，DoubanSpider继承自scrapy.Spider，name属性定义了 Spider 的名称，allowed_domains指定了允许爬取的域名，start_urls是起始 URL 列表。parse方法是 Spider 的核心解析函数，它使用 CSS 选择器提取电影的标题、评分和简介，并通过yield返回数据项。同时，它还检查是否存在下一页的链接，如果有则继续跟进爬取。

2.2 Item

Item 是 Scrapy 中用于存储爬取数据的容器，它就像是一个专门定制的盒子，每个盒子都有特定的格子（字段）来存放不同类型的数据。我们可以通过定义 Item 类来规范数据的结构，确保数据的一致性和可维护性。

还是以豆瓣电影为例，定义一个DoubanItem类：

import scrapy


class DoubanItem(scrapy.Item):
    title = scrapy.Field()
    rating = scrapy.Field()
    quote = scrapy.Field()


在parse方法中使用这个 Item 类：
def parse(self, response):
    for movie in response.css('.item'):
        item = DoubanItem()
        item['title'] = movie.css('.title::text').get()
        item['rating'] = movie.css('.rating_num::text').get()
        item['quote'] = movie.css('.inq::text').get()
        yield item

    next_page = response.css('.next a::attr(href)').get()
    if next_page is not None:
        yield response.follow(next_page, self.parse)

这里，我们先实例化一个DoubanItem对象，然后将提取到的数据赋值给相应的字段。通过使用 Item，我们可以更方便地对数据进行后续处理，比如传递给 Pipeline 进行存储或进一步清洗。

在处理复杂数据时，Item Loader可以帮助我们更方便地填充和清洗数据。它提供了一系列的方法来处理数据的提取、转换和加载，使代码更加简洁和可维护。例如：

from scrapy.loader import ItemLoader
from myproject.items import DoubanItem


def parse(self, response):
    for movie in response.css('.item'):
        loader = ItemLoader(item=DoubanItem(), selector=movie)
        loader.add_css('title', '.title::text')
        loader.add_css('rating', '.rating_num::text')
        loader.add_css('quote', '.inq::text')
        yield loader.load_item()

    next_page = response.css('.next a::attr(href)').get()
    if next_page is not None:
        yield response.follow(next_page, self.parse)

在这个例子中，ItemLoader使用add_css方法从选择器中提取数据并填充到DoubanItem中，最后通过load_item方法返回填充好的 Item 对象。

2.3 Pipeline

Pipeline 是 Scrapy 框架中负责处理 Item 的组件，它就像是一个数据加工厂，对从 Spider 传来的数据进行进一步的处理，如持久化存储、数据清洗、验证等操作。我们可以定义多个 Pipeline，每个 Pipeline 负责不同的处理任务，它们会按照一定的顺序依次对 Item 进行处理。

以将数据存储到 CSV 文件为例，实现一个简单的 Pipeline：

import csv


class CsvPipeline:
    def __init__(self):
        self.file = open('douban_movies.csv', 'w', newline='', encoding='utf-8')
        self.writer = csv.writer(self.file)
        self.writer.writerow(['title', 'rating', 'quote'])

    def process_item(self, item, spider):
        self.writer.writerow([item['title'], item['rating'], item['quote']])
        return item

    def close_spider(self, spider):
        self.file.close()

在这个 Pipeline 中，__init__方法用于初始化 CSV 文件，并写入表头。process_item方法接收从 Spider 传来的 Item，将其数据写入 CSV 文件，并返回 Item 以便后续 Pipeline 继续处理。close_spider方法在 Spider 关闭时被调用，用于关闭文件。

要启用这个 Pipeline，需要在settings.py文件中进行配置：

ITEM_PIPELINES = {
  'myproject.pipelines.CsvPipeline': 300
}

这里的数字 300 表示 Pipeline 的优先级，数字越小优先级越高。

2.4 Downloader

Downloader 是 Scrapy 框架中负责下载网页内容的组件，它就像是一位勤劳的快递员，根据引擎的指令，从互联网上获取网页的响应内容，并将其传递给 Spider 进行解析。Downloader 基于 Twisted 异步模型实现，能够高效地处理大量的下载请求，大大提高了爬虫的效率。

在下载过程中，Downloader 会与其他组件密切协作。它从调度器（Scheduler）获取待下载的请求（Request），发送 HTTP 请求到目标网站，接收网站返回的响应（Response），然后将响应传递回引擎，再由引擎将响应分发给对应的 Spider 进行处理。

例如，当 Spider 发起一个请求到某个网页时，Downloader 会根据请求的 URL、方法（如 GET、POST）、头部信息等，与目标服务器建立连接并发送请求。服务器返回响应后，Downloader 会对响应进行处理，如检查响应状态码、解析响应内容等，确保响应的有效性和完整性。如果响应状态码为 200，表示请求成功，Downloader 会将响应内容封装成Response对象返回；如果状态码为 404、500 等错误码，Downloader 会根据配置进行相应的处理，如重试请求或记录错误信息。

此外，Downloader 还支持设置代理、设置下载超时时间、处理 Cookies 等功能，以满足不同的爬虫需求。通过合理配置 Downloader 的参数，我们可以优化爬虫的性能，提高数据抓取的成功率。

三、Scrapy 的请求调度机制与优先级设置

3.1 请求调度机制

Scrapy 的请求调度机制是其高效运行的关键之一，它就像是一个精密的交通枢纽控制系统，有条不紊地管理着请求的流转。当爬虫启动时，引擎首先从 Spider 获取初始请求（Request），这些请求就像是出发的车辆，被发送到调度器（Scheduler）。调度器如同一个大型的停车场，它维护着一个请求队列，将接收到的请求按照一定的规则进行排序和管理。

在这个过程中，调度器会使用去重过滤器（DuperFilter）来检查每个请求的指纹（通常是根据 URL 等信息生成的唯一标识），以确保相同的请求不会被重复处理，就像停车场不会允许同一辆车重复进入停放一样。如果请求是全新的，没有在去重过滤器中出现过，调度器会将其加入请求队列。

引擎会不断地从调度器请求队列中获取请求，然后将这些请求发送给下载器（Downloader）。下载器接到请求后，就像快递员一样，迅速向目标服务器发送 HTTP 请求，并接收服务器返回的响应（Response）。下载器完成下载任务后，将响应返回给引擎，引擎再把响应分发给对应的 Spider 进行解析处理。

Spider 在解析响应时，可能会提取到新的 URL，这些新的 URL 会被封装成新的请求，再次发送给引擎，然后进入调度器的管理流程，如此循环往复，直到调度器中的请求队列为空，整个爬虫过程才会结束。通过这样的机制，Scrapy 能够高效地处理大量的请求，确保爬虫任务的顺利进行。

3.2 优先级设置

在 Scrapy 中，请求优先级是一个非常重要的概念，它决定了请求在调度器队列中的执行顺序，就像机场的贵宾通道和普通通道一样，优先级高的请求会优先被处理。默认情况下，所有请求的优先级都是 0，但我们可以根据实际需求进行调整。

要设置请求的优先级，有以下两种常见的方式：

  • 修改配置文件：在 Scrapy 项目的settings.py文件中，可以通过设置DEPTH_PRIORITY等参数来影响请求的优先级。例如，将DEPTH_PRIORITY设置为 1，表示使用深度优先的爬取策略，新发现的请求会被赋予较高的优先级，优先被处理；如果设置为 - 1，则表示使用广度优先的爬取策略，先进入队列的请求会优先被处理。同时，还可以结合SCHEDULER_DISK_QUEUE和SCHEDULER_MEMORY_QUEUE参数来指定磁盘队列和内存队列的处理方式，以配合优先级设置。
  • 在代码中设置：在创建Request对象时，可以直接通过priority参数来设置请求的优先级。例如：
import scrapy


class MySpider(scrapy.Spider):
    name ='myspider'

    def start_requests(self):
        urls = ['https://example.com/level1', 'https://example.com/level2']
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse, priority=10)

    def parse(self, response):
        # 对子页面设置更高的优先级
        for href in response.css('a::attr(href)').getall():
            yield scrapy.Request(url=response.urljoin(href), callback=self.parse, priority=20)

在这个示例中，起始页面的请求优先级设置为 10，而子页面的请求优先级设置为 20，这样子页面的请求会优先于起始页面的请求被处理。

通过合理设置请求优先级，我们可以根据不同的爬取需求，灵活地调整爬虫的行为，提高爬虫的效率和针对性。

四、自定义 Scrapy 中间件

4.1 下载中间件

下载中间件在 Scrapy 的请求处理流程中扮演着至关重要的角色，它处于引擎和下载器之间，就像是一个智能的中转站，在请求发送到服务器之前以及响应返回之后，对请求和响应进行一系列的处理。其主要作用包括但不限于以下几个方面：

  • 请求处理：可以在请求发送前对请求进行各种定制，比如添加或修改请求头，设置代理服务器，以隐藏真实 IP 地址，突破网站的访问限制；还可以设置下载延迟，避免对目标服务器造成过大压力，防止被封禁。
  • 响应处理：在响应返回后，对响应进行处理，如修改响应内容，更改 HTTP 状态码，对响应进行解码或编码处理等，以满足不同的业务需求。
  • 异常处理：能够捕获在下载过程中遇到的各种异常，如超时、连接错误、HTTP 错误等，并根据具体情况进行相应的处理，例如重试请求、记录错误日志等，确保爬虫的稳定性和可靠性。

下面以设置随机请求头和代理为例，展示自定义下载中间件的实现方法。

  • 设置随机请求头：许多网站会根据请求头中的 User - Agent 等信息来识别爬虫，如果始终使用相同的请求头，很容易被网站检测到并限制访问。通过设置随机请求头，可以模拟不同的浏览器或设备访问，增加爬虫的隐蔽性。

首先，安装fake - useragent库，它可以生成随机的 User - Agent。使用以下命令进行安装：

pip install fake - useragent

然后，在middlewares.py文件中编写自定义下载中间件类：

from fake_useragent import UserAgent
from scrapy import signals


class RandomUserAgentMiddleware:
    def __init__(self):
        self.ua = UserAgent()

    def process_request(self, request, spider):
        request.headers['User - Agent'] = self.ua.random

最后，在settings.py文件中启用这个中间件：

DOWNLOADER_MIDDLEWARES = {
  'myproject.middlewares.RandomUserAgentMiddleware': 543,
}

这里的 543 是中间件的优先级，数字越小优先级越高。

  • 设置代理：当目标网站对 IP 访问进行限制时，使用代理服务器可以绕过这些限制，继续进行数据爬取。以下是一个简单的设置代理的自定义下载中间件示例：
import random
from scrapy import signals


class ProxyMiddleware:
    def __init__(self, proxy_list):
        self.proxy_list = proxy_list

    @classmethod
    def from_crawler(cls, crawler):
        proxy_list = crawler.settings.get('PROXY_LIST')
        return cls(proxy_list)

    def process_request(self, request, spider):
        proxy = random.choice(self.proxy_list)
        request.meta['proxy'] = proxy

在settings.py文件中配置代理列表和启用中间件：

PROXY_LIST = [
    'http://proxy1.example.com',
    'http://proxy2.example.com',
    # 更多代理
]

DOWNLOADER_MIDDLEWARES = {
  'myproject.middlewares.ProxyMiddleware': 544,
}

通过上述步骤，我们就实现了自定义下载中间件来设置随机请求头和代理，从而增强了爬虫的功能和适应性。

4.2 Spider 中间件

Spider 中间件是 Scrapy 框架中另一个重要的扩展机制，它位于引擎和 Spider 之间，就像是一个数据处理的桥梁，主要用于在引擎和 Spider 之间对请求和响应进行处理。其作用主要体现在以下几个方面：

  • 处理响应：在响应传递给 Spider 之前，对响应进行预处理，例如修改响应内容，添加额外的元数据，或者根据响应状态进行不同的处理逻辑。
  • 处理请求：在 Spider 生成的请求发送回引擎之前，对请求进行处理，比如修改请求的 URL、参数、请求头等，或者根据某些条件过滤掉不需要的请求。
  • 处理数据项：在 Spider 生成的数据项（Item）发送到 Pipeline 之前，对数据项进行处理，如数据清洗、验证、添加额外的字段等。

要实现自定义 Spider 中间件，我们需要在middlewares.py文件中定义一个类，并实现相应的方法。以下是一个简单的自定义 Spider 中间件示例：

from scrapy import signals


class CustomSpiderMiddleware:
    @classmethod
    def from_crawler(cls, crawler):
        s = cls()
        crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
        crawler.signals.connect(s.spider_closed, signal=signals.spider_closed)
        return s

    def process_spider_input(self, response, spider):
        # 在响应进入Spider之前被调用
        # 可以对响应进行处理，如修改响应内容
        return None

    def process_spider_output(self, response, result, spider):
        # 在Spider处理完响应返回结果时被调用
        # 可以对结果进行处理，如过滤掉不需要的请求或数据项
        for item in result:
            yield item

    def process_spider_exception(self, response, exception, spider):
        # 当Spider或process_spider_input方法抛出异常时被调用
        # 可以在这里处理异常，如记录日志或返回特定的响应
        pass

    def process_start_requests(self, start_requests, spider):
        # 在Spider启动请求时被调用
        # 可以对启动请求进行处理，如修改请求头
        for request in start_requests:
            yield request

    def spider_opened(self, spider):
        spider.logger.info('Spider opened: %s' % spider.name)

    def spider_closed(self, spider):
        spider.logger.info('Spider closed: %s' % spider.name)


在settings.py文件中启用这个 Spider 中间件：
SPIDER_MIDDLEWARES = {
  'myproject.middlewares.CustomSpiderMiddleware': 543,
}

常用的方法有process_spider_input、process_spider_output、process_spider_exception和process_start_requests等。process_spider_input方法在响应进入 Spider 之前被调用，我们可以在这个方法中对响应进行一些预处理操作；process_spider_output方法在 Spider 处理完响应返回结果时被调用，可用于对结果进行进一步的处理和筛选；process_spider_exception方法在 Spider 或process_spider_input方法抛出异常时被调用，用于处理异常情况；process_start_requests方法在 Spider 启动请求时被调用，可对启动请求进行定制。通过合理使用这些方法，我们可以根据具体的业务需求，灵活地扩展和定制 Spider 的功能。

五、总结与展望

在本次对 Scrapy 框架的深入剖析中，我们系统地探讨了其核心组件、请求调度机制以及自定义中间件的相关知识。

Spider 作为爬虫逻辑的定义者，如同探险者般深入网页挖掘数据；Item 是规范存储数据的容器，确保数据结构的一致性；Pipeline 承担着数据处理和持久化的重任，是数据走向最终归宿的关键环节；Downloader 则是高效获取网页内容的执行者，为整个爬虫流程提供数据来源。这些核心组件相互协作，构成了 Scrapy 框架的坚实基础，使得数据抓取工作能够有条不紊地进行。

Scrapy 的请求调度机制犹如精密的交通枢纽控制系统，合理管理着请求的流转，确保每个请求都能得到妥善处理。而优先级设置则为我们根据不同需求灵活调整爬虫行为提供了有力手段，让爬虫能够更高效地获取重要数据。

自定义中间件进一步拓展了 Scrapy 的功能边界。下载中间件在请求和响应的传输过程中发挥着重要作用，无论是设置随机请求头以增加爬虫隐蔽性，还是利用代理突破网站访问限制，都展现了其强大的灵活性和适应性。Spider 中间件则在引擎和 Spider 之间搭建起一座桥梁，实现对请求、响应和数据项的精细处理，为满足复杂的业务需求提供了可能。

掌握这些知识对于提升爬虫开发能力至关重要，它不仅能让我们开发出高效、稳定的爬虫程序，还能使我们更好地应对各种复杂的网络环境和数据抓取需求。随着互联网技术的不断发展，网页结构和反爬虫技术日益复杂，未来 Scrapy 框架有望在以下几个方面取得进一步发展：一是在应对反爬虫方面，不断优化自身机制，提供更强大的反反爬虫策略；二是在性能优化上，进一步提升处理大规模数据抓取任务的能力，提高爬虫的效率和稳定性；三是在与其他技术的融合方面，如与人工智能、大数据处理技术等结合，拓展其应用场景，为数据挖掘和分析提供更全面的支持 。相信在未来，Scrapy 框架将继续在 Python 爬虫领域发光发热，为开发者提供更强大、更便捷的数据抓取解决方案。


http://www.kler.cn/a/558504.html

相关文章：

  • MySQL 单表访问方法详解
  • Baklib知识中台重塑企业知识管理
  • 2025吐槽季第一弹---腾讯云EO边缘安全加速平台服务
  • Linux 命令大全完整版（11）
  • Vue学习教程-15自定义指令
  • DeepSeek核心技术全景解析：架构革新与工程突破
  • 力扣-贪心-45 跳跃游戏
  • MyBatis XML映射文件中的批量插入和更新
  • 【LLM】R1复现项目（SimpleRL、OpenR1、LogitRL、TinyZero）持续更新
  • 我的世界地下城DLC开发的第二天
  • Kafka安装
  • Linux：进程的认识
  • win32汇编环境,窗口程序中使用菜单示例四
  • 【java】就近原则
  • vscode@右键文件夹或文件vscode打开一键配置
  • for循环可遍历但不可以修改列表原因分析
  • 物联网常见协议基础学习
  • 【软考】【2025年系统分析师拿证之路】【啃书】第十三章 系统设计（十四）
  • CSS基础（盒子模型的组成、内容溢出、隐藏元素的方式、样式的继承、元素的默认样式、布局技巧、元素之间的空白问题、行内块元素的幽灵空白问题）
  • 利用 AI 大模型驱动企业智能化转型：Cherry Studio 与 Anything LLM 的应用探索