python爬虫案例——腾讯网新闻标题(异步加载网站数据抓取，post请求)（6）
文章目录
- 前言
- 1、任务目标
- 2、抓取流程
-
- 2.1 分析网页
- 2.2 编写代码
- 2.3 思路分析
前言
本篇案例主要讲解异步加载网站如何分析网页接口，以及如何观察post请求URL的参数，网站数据并不难抓取，主要是将要抓取的数据接口分析清楚，才能根据需求编写想要的代码。
1、任务目标
目标网站：腾讯网(https://news.qq.com/)
抓取 腾讯网–要闻–热点精选，前5页的新闻标题
如：
2、抓取流程
2.1 分析网页
步骤1：
打开浏览器，进入目标网站：https://news.qq.com/，
右键检查或F12，打开浏览器抓包工具，先刷新网页更新数据接口，因为是异步刷新的网站，我们直接在在Network-Fetch/XHR下查找我们需要的数据接口