当前位置: 首页 > article >正文

Python 爬虫项目实战:爬取某云热歌榜歌曲

一、网络爬虫的定义

网络爬虫(Web Crawler),也成为网页蜘蛛或者网页机器人,是一种按照既定规则自动浏览网络并提取信息的程序。爬虫的主要用途包括数据采集、网络索以及内容抓取等。

二、爬虫基本原理

1、种子URL:爬虫从一个或多个种子URL开始,这些URL是起点。

2、发送请求:爬虫向这些种子URL发送HTTP请求,通常是GET请求。

3、获取响应:服务器返回网页的HTML内容作为响应。

4、解析内容:爬虫解析HTML内容,提取所需要的数据(如文本、链接、图片等)。

5、提取链接:从网页中提取出所有的链接,并将这些链接加入到待访问的队列。

6、重复过程:爬虫重复上述步骤,直到达到某个停止条件,如爬取到了一定数量的页面,或者所有页面都被爬取完毕。

三、爬虫的分类

1、通用爬虫:设计用于抓取整个互联网的大量页面。搜索引擎(如GOOGLE、Bing)的爬虫就是通用爬虫。

2、聚焦爬虫:专注于特定的主题或者领域,抓取相关页面。比如,一个新闻爬虫只抓取新闻网站的内容。

3、增量爬虫:仅抓取自上次爬取以来发生变化或更新的页面,适用于动态内容更新频繁的网站。

四、爬虫的合法性和道德

在编写和运行爬虫时,必须遵守以下原则:

1、遵守网站的robot.txt文件,大多数网站都有一个robot.txt文件,规定了哪些页面允许被爬取,哪些不允许爬取。

2、避免过度抓取:设置适当的抓取频率,避免对服务器造成过大的负担。

3、尊重版权和隐私:不应该抓取或使用受版权保护的内容,或涉及用户隐私的数据。

4、获取许可:在某些情况下,最好获得网站管理员的许可,特别是当你打算频繁地抓取大量数据时。

五、实战,抓取某云热歌榜歌曲

1、打开需要抓取的页面

2、F12检查定位关键元素

3、搜索关键词

4、查看在页面中的渲染情况是不是我们想要的数据,可以看到这里列出了200首歌那么就是的

5、在标头中确定数据来源地址及请求方法

6、编写源代码

import re
import os
import requests

#定义爬取文件存放的地址
filename = 'E:\pratice\music\\'  

# 如果没有上述文件夹则创建文件夹
if not os.path.exists(filename):
    os.makedirs(filename)

# 请求网址(如果想要爬取其他的榜单的歌曲内容,只需要改这个 url 即可)
url = 'https://music.163.com/playlist?id=3778678'

# 伪造请求头
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36'
}

# 发送请求
response = requests.get(url, headers=headers)

# re.findall
# 这个函数用于在字符串中查找所有与正则表达式模式匹配的部分,并返回一个包含所有匹配项的列表
# r 前缀表示这是一个原始字符串,其中的反斜杠不会被解释为转义字符
# (\d+): 捕获组,匹配一个或多个数字
# (.*?): 捕获组,非贪婪匹配任何字符(包括空字符),直到遇到 </a>
html_data = re.findall(r'<li><a href="/song\?id=(\d+)">(.*?)</a>', response.text)

# 正则表达式提取出来的一个内容返回是列表 里面每一个元素都是元组
for num_id, title in html_data:
    # 调用接口
    music_url = f'https://music.163.com/song/media/outer/url?id={num_id}.mp3'

    # 发送请求获取二进制数据
    music_content = requests.get(music_url, headers=headers)

    # 保存
    with open('E:\pratice\music\\' + title + '.mp3', 'wb') as f:
        f.write(music_content.content)
        print(num_id, title)


http://www.kler.cn/a/371938.html

相关文章:

  • SpringBoot最佳实践之 - 项目中统一记录正常和异常日志
  • net mvc中使用vue自定义组件遇到的坑
  • 【Redis】常见基本全局命令
  • 在Excel中如何快速筛选非特定颜色
  • 关于我的数据结构与算法——初阶第二篇(排序)
  • 【python GUI编码入门-03】掌握Tkinter如何高效绑定键盘和鼠标事件
  • 使用Python来下一场雪
  • STM32F103C8T6 IO 操作
  • DevOps赋能:优化业务价值流的实战策略与路径(下)
  • ViSual studio如何安装 并使用GeographicLib
  • 大模型提示词简介 举例
  • zjy-sqlite-manage使用文档v1
  • 每日读则推(十四)——Meta Movie Gen: the most advanced media foundation models to-date
  • 等保行业如何选择核实的安全防御技术
  • Python 机器学习中的模型解释性与可解释性
  • 有防蓝光的护眼灯有哪些品牌?介绍五款值得入手的品牌和型号
  • 深度学习-交叉熵损失函数
  • Django ORM 数据库管理 提高查询、更新性能的技巧和编程习惯:
  • ECharts 折线图 / 柱状图 ,通用配置标注示例
  • OpenCV基本操作(python开发)——(8)实现芯片瑕疵检测
  • 【GPT模型的大小】GPT3模型到底多大,如果训练需要什么条件?
  • 盘古信息IMS系统助力制造企业释放新质生产力
  • 上市公司数字经济与实体经济融合发展程度测算数据(2008-2022年)-最新出炉_附下载链接
  • 基于华为atlas环境下的OpenPose人体关键点检测的人员跨越、坐立检测
  • Mybatis-15.动态SQL-if
  • 【Hadoop之hdfs】hdfs一些简单明了的总结(一篇足以,字少但都是精华)