Scrapy框架入门
一、Scrapy简介
Scrapy是一款快速而强大的web爬虫框架，基于Twisted的异步处理框架、Twisted是事件驱动的。
Scrapy是由python实现的爬虫框架：架构清晰、可扩展性强、可以灵活完成需求。
一、Scrapy应用
scrapy及其他模块的安装
pip3 install scrapypip3 install wheelpip3 install pywin32 安装Scrapy之后，你可以使用scrapy startproject命令来创建一个新的Scrapy项目。例如，如果你想创建一个名为scrapydemo的项目，你可以运行
scrapy startproject scrapydemo
这个命令会生成一个名为scrapydemo的目录，该目录的结构大致如下：
myproject/
scrapy.cfg # 项目的配置文件
myproject/ # 项目的Python模块，将会从这里引用代码
__init__.py
items.py # 项目中的item文件
middlewares.py # 项目中的middlewares文件
pipelines.py # 项目中的pipelines文件
settings.py # 项目的设置文件
spiders/ # 放置spider代码的目录
__init__.py创建好项目之后接着创建爬虫文件，例如我们爬取以下网站 Quotes to Scrape
https://quotes.toscrape.com/
在终端继续输入以下代码：
cd scrapydemoscrapy genspider quotes quotes.toscrape.com接下来就要配置项目文件...请移步主页