爬虫学习笔记-scrapy安装及第一个项目创建问题及解决措施
1.安装scrapy
pycharm终端运行 pip install scrapy -i https://pypi.douban.com/simple
2.终端运行scrapy startproject scrapy_baidu,创建项目
问题1:lxml版本低导致无法找到
解决措施:更新或者重新安装lxml
3.项目创建成功
4.终端cd到项目的spiders文件夹下,cd scrapy_baidu\scrapy_baidu\spiders
创建爬虫文件名百度,域名scrapy genspider baidu www.baidu.com
5.爬虫文件创建成功打开,修改def parse,打印输出
6.运行爬虫文件,scrapy crawl baidu
问题2:attrs版本低
解决措施:重新安装
7.再次运行爬虫文件,scrapy crawl baidu
问题3:无法加载sqllite3
解决措施:下载sqllite dll文件,解压到python解释器对应DLLs文件夹下
https://www.sqlite.org/download.html
8.禁用robot协议
9.再次执行后成功运行打印输出
10.注意:退出项目后,再次启动,需要cd到spiders目录下执行scrapy crawl baidu再启动项目