Scrapy入门
Scrapy是一个用Python实现的快速、高层次的屏幕抓取和web抓取框架，主要用于抓取web站点并从页面中提取结构化的数据。
安装
pip install scrapy创建Scrapy项目
使用scrapy startproject命令创建一个新的Scrapy项目。例如，创建一个名为myproject的项目：
scrapy startproject myproject 该命令会在当前目录下创建一个名为myproject的文件夹，其中包含Scrapy项目的所有必要文件和文件夹。
在项目文件夹中，使用scrapy genspider命令创建一个爬虫。
scrapy genspider example example.com该命令会在myproject/spiders目录下创建一个名为example.py的爬虫文件。
Scrapy的项目结构
Scrapy项目的文件结构通常包括以下几个部分：
scrapy.cfg：项目的配置文件。
myproject/：项目的Python模块，将会从这里引用代码。
items.py：定义爬取结果的数据结构。
middlewares.py：定义下载器中间件和爬虫中间件。
pipelines.py：定义数据处理的管道。
settings.py：项目的全局配置文件。
spiders/：存储爬虫代码的目录。
Scrapy框架的组成
引擎（Engine）：控制数据流，触发事务。
调度器（Scheduler）：接受请求并将其加入队列，以便之后引擎需要时提供。
下载器（Downloader）：下载网页内容，并将内容返回给爬虫。
爬虫（Spider）：解析响应并生成提取结果和新的请求。
项目管道（Item Pipeline）：处理由爬虫提取出来的数据，如清洗、验证和存储。
下载器中间件（Downloader Middlewares）：处理引擎与下载器之间的请求及响应。
爬虫中间件（Spider Middlewares）：处理爬虫输入的响应和输出的结果及新的请求。