当前位置: 首页 > article >正文

使用python爬取豆瓣网站?如何简单的爬取豆瓣网站?

1.对python爬虫的看法

首先说说我对python的看法,我的专业是大数据,我从事的工作是java开发,但是在工作之余,我对python又很感兴趣,因为我觉得python是一门很好的语言,第一:它可以用来爬取数据,也就是我今天要介绍的;第二:它可以用来做项目的后端搭建;第三:可以用来做数据分析,第四:它的语法比较简单,代码写起来也没有java语法那么严格。我觉得python做第二门兼职语言再好不过了。

2.爬取数据过程中的感想

有时候,我们爬取的数据是比较杂乱的,需要我们对数据进行清洗处理,去掉错误或者空值,如果我们用数据来进行研究,这是必经的过程。所以我们不仅要学会爬取数据,还要学会对爬取的数据进行处理,所以我觉得想要学习python这门语言,先学爬虫,在爬虫的基础上一边学数据处理。

3.本次爬取数据的所得
3.1第一次数据爬取

爬取数据三要素:获取网站信息,获取需要爬取数据的节点,将数据进行保存

3.2爬取数据的处理

由于第一次的数据爬取出来,格式上比较混乱,且如果要使用到数据的话,就得把有用的数据提取出来,因此进行数据处理并且重新进行保存是必要的,这里使用到了正则表达式(正则在数据处理和数据爬取中都是一个重要的存在)

总结
此代码只能用于爬取简单的数据,如果要爬取动态的数据或者是更多数据需要使用到多方面的东西=========================================================================

下面是一个固定的写法:用于确保某段代码只有在脚本作为主程序运行时才会执行,通常用于定义脚本的入口点。也就是说如果这个py文件被其他给引入了,他是不会执行这个里面的内容的

当 my_script.py 被直接运行时,__name__ 变量的值为 '__main__',因此 main() 函数会被调用。
当 my_script.py 被其他文件导入时,__name__ 变量的值为 'my_script',因此 main() 函数不会被调用。

if __name__ == '__main__':
    handle()

他提高了代码的复用性和可维护性,如果在该块中编写单元测试代码,这些测试代码只会在直接运行脚本时执行。


http://www.kler.cn/a/321457.html

相关文章:

  • 黑盒测试/白盒测试知识总结
  • iClient3D for Cesium 加载shp数据并拉伸为白模
  • Golang的容器化技术实践总结
  • 图书馆预约占座系统:数据驱动的座位分配机制
  • 本地部署webrtc应用怎么把http协议改成https协议?
  • Rasa框架的优点和缺点
  • FPGA中系统门数和逻辑门数的理解
  • 智视臂传-AI视觉触感未来丨OPENAIGC开发者大赛高校组AI创作力奖
  • 计算机毕业设计 基于Hadoop的智慧校园数据共享平台的设计与实现 Python 数据分析 可视化大屏 附源码 文档
  • 性能设计模式
  • 1.6 判定表
  • 【C++与数据结构】搜索二叉树(BinarySearchTree)
  • 数据仓库-数据质量规范
  • 问:聊聊JAVA中的共享锁和独占锁?
  • 了解针对基座大语言模型(类似 ChatGPT 的架构,Decoder-only)的重头预训练和微调训练
  • 前端Vue 基础学习1
  • 暗黑破坏神4新资料片憎恶之躯即将上线,第六赛季暗黑破坏神4搬砖如何获得最大收益?
  • 响应式的几种解决方案——媒体查询、flex、grid、多列布局、瀑布流和数据可视化屏幕的缩放处理
  • 极狐GitLab 17.4 重点功能解读【三】
  • crontab -e 修改为vim 编辑
  • Jenkins 2.477版本升级
  • 嵌入式学习——进程间通信方式(1)——有名管道和匿名管道
  • 高频 SQL 50 题(基础版)| 180. 连续出现的数字
  • The Open Group 2024生态系统架构·可持续发展年度大会全面解读
  • 企业微信AI社群助手:赋能企业私域运营的新引擎
  • JAVA集成Jasypt进行加密、解密(SpringBoot)