Python3 爬虫 Scrapy的使用
安装完成Scrapy以后，可以使用Scrapy自带的命令来创建一个工程模板。
一、创建项目
使用Scrapy创建工程的命令为：
scrapy startproject <工程名>例如，创建一个抓取百度的Scrapy项目，可以将命令写为：
scrapy startproject baidu工程名可以使用英文字母和数字的组合，但是绝对不能使用“scrapy”（小写）作为工程名，否则爬虫无法运行。也不要使用任何已经安装的Python第三方库的名称作为工程名，否则可能会出现奇怪的错误。这是由于Python在导入库的时候，会优先从当前工程文件夹中寻找满足条件的文件或者文件夹，如果工程的名称本身就为scrapy，那么Python就无法找到正常的Scrapy库的文件。
创建完成工程以后，Scrapy有以下的提示：
you can start your first spider with:
cd baidu scrapy genspider example example.com这个提示的意思是说，可以通过下面的两条命令来创建第一个爬虫。根据它的说明来执行命令：
cd baidu
scrapy ge
nspider example baidu.com在Scrapy genspider命令中，有两个参数，“example”和“baidu.com”。其中，第1个参数“example”是爬虫的名字，这个名字可以取英文和数字的组合，但是绝对不能为“scrapy”或者工程的名字。在现在这个例子中，爬虫的工程名为“baidu”，所以这里的第1个参数也不能为“baidu”。
第2个参数“baidu.com”是需要爬取的网址。开发工程师可以修改为任何需要爬取的网址。
需要注意的是，在这个例子中，“baidu.com”没有加“www”，这是因为在浏览器中直接输入“baidu.com”就可以打开百度的首页。如果有一些网址需要添加二级域名才能访问，那么这里也必须要把二级域名加上。例如：
scrapy genspider news news.163.com现在已经把爬虫创建好了，在PyCharm中打开Scrapy的工程，可以看到在spiders文件夹下面有一个example.py 。
这个由Scrapy自动生成的爬虫运行以后是不会报错的，但是它不会输出有用的信息。
现在，将第11行：
pass修改为：
print(response.body.decode())修改完成以后，通过Windows或者Mac、Linux的终端进入爬虫的工程根目录，使用以下命令运行爬虫：
scrapy crawl <爬虫名>这里，启动百度首页爬虫的命令为：
scrapy crawl example需要特别强调的是，Scrapy的爬虫绝对不能通过Python直接运行example.py来运行。
上面的代码运行以后，可以看到并没有百度首页上面的任何文字出。
这是由于Scrapy的爬虫默认是遵守robots.txt协议的，而百度的首页在robots.txt协议中是禁止爬虫爬取的。
要让Scrapy不遵守robots.txt协议，需要修改一个配置。在爬虫的工程文件夹下面找到并打开settings.py文件，可以在里面找到下面的一行代码。
# Obey robots.txt rules
ROBOTSTXT_OBEY = True
将True修改为False：
# Obey robots.txt rules
ROBOTSTXT_OBEY = False再一次运行爬虫，可以正常获取到百度的首页。
Scrapy的爬虫与普通的Python文件普通爬虫的不同之处在于，Scrapy的爬虫需要在CMD或者终端中输入命令来运行，不能直接运行spiders文件夹下面的爬虫文件。那么如何使用PyCharm来运行或者调试Scrapy的爬虫呢？为了实现这个目的，需要创建另外一个Python文件。文件名可以取任意合法的文件名。这里以“main.py”为例。
main.py文件内容如下：
from scrapy import cmdline
cmdline.execute("scrapy crawl example".split()将main.py文件放在工程的根目录下，这样，PyCharm可以通过运行main.py来运行Scrapy的爬虫。
二、在Scrapy中使用XPath
由于可以从response.body.decode()中得到网页的源代码，那么就可以使用正则表达式从源代码里面提取出需要的信息。但是如果可以使用XPath，则效率将会大大提高。好消息是，Scrapy完全支持XPath。
1. ScrapyXPath语法说明
Scrapy与lxml使用XPath的唯一不同之处在于，Scrapy的XPath语句后面需要用.extract()这个方法。
“extract”这个单词在英语中有“提取”的意思，所以这个.extract()方法的作用正是把获取到的字符串“提取”出来。在Scrapy中，如果不使用.extract()方法，那么XPath获得的结果是保存在一个SelectorList中的，直到调用了.extract()方法，才会将结果以列表的形式生成出来。
这个SelectorList非常有意思，它本身很像一个列表。可以直接使用下标读取里面的每一个元素，也可以像列表一样使用for循环展开，然后对每一个元素使用.extract()方法。同时，又可以先执行SelectorList的.extract()方法，得到的结果是一个列表，接下来既可以用下标来获取每一个元素，也可以使用for循环展开。
2. Scrapy的工程结构
scrapy.cfg
tutorial/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
...其中对于开发Scrapy爬虫来说，需要关心的内容如下。
（1）spiders文件夹：存放爬虫文件的文件夹。
（2）items.py：定义需要抓取的数据。
（3）pipelines.py：负责数据抓取以后的处理工作。
（4）settings.py：爬虫的各种配置信息。
在有spiders和settings.py这两项的情况下，就已经可以写出爬虫并保存数据了。
但是为什么还有items.py和pipelines.py这两个文件呢？这是由于Scrapy的理念是将数据爬取和数据处理分开。
items.py文件用于定义需要爬取哪些内容。每个内容都是一个Field。
pipelines.py文件用于对数据做初步的处理，包括但不限于初步清洗数据、存储数据等。
--------------------------------------
没有自由的秩序和没有秩序的自由，同样具有破坏性。
