如何提升scrapy的效率
如何提升scrapy的效率
- 在settings配置文件中修改CONCURRENT_REQUESTS = 100
scrapy默认开启的线程数量为32个，这样设置可以使其线程数量为100个 - 在运行scrapy时,会有大量的日志信息输出，为了减少cpu的使用率，可以设置log输出信息为WORNING或者ERROR
- 如果不是真的需要cookie,则在scrapy爬取数据时禁止cookie从而减少cpu的使用率，提升爬取效率，
在配置文件中编写COOKIES_ENABLE = False - 禁止重试:
对于失败的http请求(重试)会减慢爬取速度，因此可以禁止重试。在配置文件中编写:RETRY_ENABLE = False - 减少下载超时:
如果对一个非常慢的链接进行爬取，减少下载超时可以让卡住的链接快速被放弃，从而提升效率。
在配置文件中编写:DOWNLOAD_TIMEOUT = 10 超时时间为10s
希望本文对你有所帮助
