当前位置: 首页 > article >正文

用selenium+ChromeDriver豆瓣电影 肖申克的救赎 短评爬取(pycharm 爬虫)

一、豆瓣电影 肖申克的救赎 短评url=https://movie.douban.com/subject/1292052/comments

 

 

二、基本知识点讲解

1. Selenium 的基本使用

Selenium 是一个用于自动化浏览器操作的库,常用于网页测试和爬虫。代码中使用了以下 Selenium 的核心功能:

  • webdriver.Chrome: 启动 Chrome 浏览器实例。

  • driver.get(url): 打开指定的网页。

  • driver.find_elements: 查找页面中符合条件的所有元素。

  • driver.execute_script: 执行 JavaScript 代码(例如点击按钮)。

  • driver.quit(): 关闭浏览器并结束 WebDriver 会话。


2. ChromeDriver 的配置

  • Service: 用于指定 ChromeDriver 的路径。

  • executable_path: ChromeDriver 可执行文件的路径(需与 Chrome 浏览器版本匹配)。


3. 页面元素的定位

Selenium 提供了多种定位页面元素的方式,代码中使用了以下方法:

  • By.XPATH: 使用 XPath 表达式定位元素。


http://www.kler.cn/a/598657.html

相关文章:

  • 通过Typora + PicGo + 阿里云对象存储(OSS)实现图床
  • JAVA中数组(Array)‌ 和 ‌链表(LinkedList)‌ 是两种基础的数据结构
  • 详解如何通过Python的BeautifulSoup爬虫+NLP标签提取+Dijkstra规划路径和KMeans聚类分析帮助用户规划旅行路线
  • 进程状态与PV操作
  • Java安全-类的动态加载
  • 本地部署Dify 添加Ollama模型DeepSeek
  • matlab的meshgrid
  • Mysql架构理论部分
  • QT二 QT使用generate form 生成常用UI,各种UI控件
  • 关于Docker是否被淘汰虚拟机实现连接虚拟专用网络Ubuntu 22.04 LTS部署Harbor仓库全流程
  • STM32滴答定时器(SysTick)原理及延时函数实现
  • redisson 使用与分析
  • 【微前端】使用微前端解决碎片化的用户界面问题实践
  • Android开发layer-list
  • Blender导出fbx到Unity找不到贴图的问题
  • Linux NFS、自动挂载与系统启动管理指南
  • 【深度学习】【目标检测】【Ultralytics-YOLO系列】Windows11下YOLOV3人脸检测
  • spring-security原理与应用系列:建造者
  • vue3之写一个aichat---实现聊天逻辑
  • OpenRAND可重复的随机数生成库