Python实现一个简单的爬虫程序(爬取图片)
目录
1、安装爬虫Scrapy
2、新建爬虫项目
3、配置爬虫
4、编写爬虫代码,爬取百度图片
5、运行爬虫程序
使用爬虫需要遵守相关法律和规范!
1、安装爬虫Scrapy
编程环境是Anaconda,其安装和使用见我之前的文章,这里就不赘述了。
首先安装爬虫Scrapy,为了加快下载速度,我用了国内镜像网站,如下所示:
pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple
还需要再安装一下Twisted,否则使用爬虫时会报错。
conda install --channel https://conda.anaconda.org/anaconda Twisted
2、新建爬虫项目
新建爬虫项目test_spider
scrapy startproject test_spider
进入spiders目录,创建baiduSpider.py,域名是要爬取的网站,写错了就无法爬取图片。不过不必担心,这里我们