当前位置： 首页 > article >正文

【Python网络爬虫笔记】5-(Request 带参数的get请求) 爬取豆瓣电影排行信息

article 2024/12/2 4:43:26

目录

  • 1.抓包工具查看网站信息
  • 2.代码实现
  • 3.运行结果

1.抓包工具查看网站信息

请求路径

url:https://movie.douban.com/typerank

在这里插入图片描述
请求参数
在这里插入图片描述
页面往下拉，出现新的请求结果，参数start更新，每次刷新出20条新的电影数据
在这里插入图片描述

2.代码实现

# 使用网络爬虫，爬取https://movie.douban.com/typerank 的电影数据

# 导入requests包
import requests

#请求路径
url = "https://movie.douban.com/j/chart/top_list"

# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36 Edg/131.0.0.0"
}

# 参数
params = {
    "type": "11",
    "interval_id": "100:90",
    "action": "",
    "start": 60,
    "limit": 20
}

# 发送请求，获取响应
response = requests.get(url, params=params,headers=headers)

# 输出
print(response.json())

# 关闭响应
response.close()

3.运行结果

start为60 的运行结果
在这里插入图片描述
在这里插入图片描述
start为0 的运行结果
在这里插入图片描述
在这里插入图片描述


http://www.kler.cn/a/417985.html

相关文章：

  • 机器学习算法（六）---逻辑回归
  • Java全栈：超市购物系统实现
  • LWIP和FATFS 实现 FTP 服务端
  • Elasticsearch ILM 索引生命周期管理讲解与实战
  • 排序学习整理（1）
  • Redis进行性能优化可以考虑的一些策略
  • 洛谷 P2415 集合求和 C语言
  • 学习日志017--python的几种排序算法
  • 根据导数的定义计算导函数
  • 数据库学习记录02
  • 学习嵩山版《Java 开发手册》：编程规约 - 命名风格（P13 ~ P14）
  • 【操作系统不挂科】＜内存管理-分页与分段（15）＞选择题＆简答题（带答案与解析）
  • C#运动控制技术详解：基础、实现与应用实例
  • 【S500无人机】--地面端下载
  • 大数据HCIA笔记1
  • Android11修改摄像头前后置方法，触觉智能RK3568开发板演示
  • redis 底层数据结构
  • YOLO系列论文综述（从YOLOv1到YOLOv11）【第12篇：YOLOv9——可编程梯度信息(PGI)+广义高效层聚合网络(GELAN)】
  • Rust学习笔记_02——数组
  • 可视化大屏系统如何实现3D数据导入与Web交互？
  • SpringAi整合大模型(进阶版)
  • MyBatis-Plus - 查询解析数据异常处理
  • Linux内核机制自学笔记
  • spring-boot自定义ApplicationListener及源码分析
  • SVN迁移至Git，保留commit提交记录
  • 使用Spring Data MongoDB中的MongoTemplate实现分组查询最新的数据