python爬虫案例——使用aiohttp模块异步请求网站,利用协程加快爬取速度(17)
文章目录
- 前言
- 1、异步请求(aiohttp模块的使用)
-
- 1.1 模块的安装
- 1.2 模块的基本使用
- 2、爬虫案例
前言
本篇文章主要通过一个爬虫小案例来教会大家如何使用协程来编写代码,加快爬取数据的速度;由于请求网站时使用的requests模块发起的是同步请求,无法与协程相配合达到加快程序运行速度的目的;所以我们需要学习一个新的模块
aiohttp
,该模块用于发送异步请求;与协程配合可以大大缩短程序运行的时间
1、异步请求(aiohttp模块的使用)
1.1 模块的安装
由于是第三方模块,需要下载;命令:
pip install aiohttp
1.2 模块的基本使用
# 导入模块
import aiohttp
# 目标网站
url = 'www.