python实战项目43：采集汽车之家数据
python采集汽车之家数据
- 一、寻找数据接口
- 二、发送请求获取响应
- 三、解析数据
- 四、完整代码
一、寻找数据接口
如下图所示，在汽车之家首页点击报价图标：
在下图中选择价位，例如选择15-20万：
打开浏览器开发者工具，刷新页面，找到数据接口。接下来，通过翻页寻找接口url的变化规律，发现接口的url在页码发生变化时，最后一个1发生了变化，其他不变，这样方便我们接下来构造url进行翻页。
https://car.autohome.com.cn/price/list-15_20-0-0-0-0-0-0-0-0-0-0-0-0-0-0-1.html
二、发送请求获取响应
接下来，使用requests库向该接口发送get请求，携带user-agent,referer等参数。
三、解析数据
这里使用xpath表达式进行数据解析和提取，使用csv库进行数据存储。