当前位置: 首页 > article >正文

【爬虫】实战-爬取Boss直聘信息数据

 专栏文章索引:爬虫

所用工具:

  • 自动化工具:DrissionPage

目录

一、找到目标数据(2个确定)​

1.确定目标网页

2.确定目标网址

二、编写代码​

三、查看数据​

五、总结


一、找到目标数据(2个确定)

1.确定目标网页

  •  打开目标网站

网站:「南京招聘网」海量南京人才招聘信息 - BOSS直聘(自动定位所在地点,我是南京)

  • 通过关键字搜索

  • 观察页面上是否有想要的数据

2.确定目标网址

我们直接用浏览器网网址输入框中的网址即可

  • 切换网页并复制粘贴网址

由于网址(域名+参数),域名不会变,参数可能会随着页面的变化而变化

我们可先翻到第2页

可以看到网址也发生了改变

我们可以切换不同的页码并将网址赋值粘贴下来(一般3-4个即可)

注意最后再重新翻到第一页

可以看到当重新翻到第一页的时候网址发生了变化,第一页用这个网址即可

  • 观察网址

可以看到只有page参数有变化,显然page参数对应的是页码数

二、编写代码

  • 导入所需库
# 导入WebPage库
from DrissionPage import WebPage
# 导入动作链
from DrissionPage.common import Actions
# 导入时间库
import time
# 导入读取和写入文件库
import csv
  • 查找元素获取数据
ele1 = page.eles('.job-card-body clearfix')
for i in range(len(ele1)):
    ele2 = ele1[i].ele('.job-card-left')
    ele3 = ele2.ele('.job-title clearfix')
    # title 岗位名称
    title = ele3.ele('.job-name').text
    # area 公司地址
    ele4 = ele3.ele('.job-area-wrapper')
    area = ele4.ele('.job-area').text
    ele5 = ele2.ele('.job-info clearfix')
    # salary 薪水
    salary = ele5.ele('.salary').text
    ele6 = ele5.ele('.tag-list')
    ele7 = ele6.eles('tag:li')
    # time 工作时限
    time = ele7[0].text
    # education 学历
    education = ele7[1].text
    ele8 = ele1[i].ele('.job-card-right')
    ele9 = ele8.ele('.company-info')
    # name 公司名称
    name = ele9.ele('tag:a').text
    
    print(title, area, salary, time, education, name)
  • 切换到下一页
ac.click('.ui-icon-arrow-right')
  • 保存数据
with open('招聘信息.csv', 'a', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    # 写入数据
    writer.writerows(date_list)
  • 完整代码

【免费】爬取Boss直聘招聘信息数据资源-CSDN文库

三、查看数据

  • 控制台

  • 文件

五、总结

直接用DrissionPage即可,没有特别的地方



http://www.kler.cn/a/274750.html

相关文章:

  • API开发:Flask VS FastAPI
  • Redis篇--常见问题篇5--热Key(Hot Key,什么是热Key,服务降级,一致性哈希)
  • Qt5HttpServer : Qt官方的HTTP服务器
  • 前端导出PDF的组件及方法
  • 【开源免费】基于SpringBoot+Vue.JS房屋租赁管理系统(JAVA毕业设计)
  • 04、Vue与Ajax
  • docker小白第十四天之Portainer与CIG
  • Go语言之函数、方法、接口
  • 数据在内存中的存储(C语言)(难点,需多刷几遍)
  • Nginx发布之后可以使用IP访问,不能使用localhost访问, Nginx发布之后可以使用localhost访问,不能使用IP访问,
  • Selenium WebDriver使用EC来定义显式等待的条件
  • Python内置对象
  • react中useContext的用法
  • 万用表革新升级,WT588F02BP-14S语音芯片助力智能测量新体验v
  • 服务器端(Debian 12)配置jupyter与R 语言的融合
  • Java项目基于SpringBoot和Vue的时装购物系统的设计与实现
  • C#基础语法学习笔记(传智播客学习)
  • [Qt学习笔记]Halcon窗口界面上显示文字的字体尺寸、样式修改
  • GO-Gin-Example 第六部分 将Golang应用部署到Docker
  • 【MySQL】知识点 + 1
  • 什么是Spring Boot
  • 字符串函数---(1)
  • 离散制造企业MES与流程企业MES的区别
  • LiveGBS流媒体平台GB/T28181功能-HTTPS 服务支持配置开启什么时候需要开启HTTPS测试SSL证书配置HTTPS测试证书
  • 技术周刊 116 期:Visual Copilot、INP、Kimi 支持 200 万字上下文、Grok 开源、Figure 01、Open Sora 开源
  • 算法---二分查找练习-3(山脉数组的顶峰索引)