当前位置： 首页 > article >正文

python实现YouTube关键词爬虫（2025/02/11）

article 2025/2/19 16:14:33

在当今数字化时代，YouTube作为全球最大的视频分享平台之一，拥有海量的视频资源。无论是进行市场调研、内容创作还是学术研究，能够高效地获取YouTube上的相关视频信息都显得尤为重要。今天，我将为大家介绍一个基于Python实现的YouTube视频搜索爬虫，帮助大家快速获取特定关键词相关的视频基本信息。

废话不多说，先上结果：

一、项目背景与需求

随着信息的爆炸式增长，如何从海量的YouTube视频中快速找到符合特定需求的内容成为了一个挑战。例如，对于内容创作者来说，了解某一热门话题下的视频趋势和优秀作品能够为自己的创作提供灵感；对于市场研究人员而言，分析特定品牌或产品的相关视频数据有助于洞察市场动态和用户反馈。因此，开发一个能够自动搜索并提取YouTube视频信息的爬虫工具具有重要的应用价值。

二、技术选型与实现思路

1.技术选型

  • Python语言：Python以其简洁易读的语法和强大的库支持，成为了爬虫开发的首选语言。它提供了丰富的网络请求库（如requests）、数据处理库（如pandas）以及JSON解析等功能，能够高效地实现爬虫的各项功能。

  • requests库：用于发送HTTP请求，获取YouTube网页的响应数据。它支持自定义请求头、参数和数据，能够灵活地模拟浏览器行为，从而获取到我们需要的视频搜索结果数据。

  • pandas库：主要用于数据的存储和处理。在爬取到视频信息后，我们可以将其存储为DataFrame对象，方便后续的数据分析、筛选和导出为CSV文件等操作。

2.实现思路

  • 模拟搜索请求：通过分析YouTube的搜索功能，我们发现其搜索结果是通过向特定的API接口发送请求并携带相应的参数和数据来获取的。因此，我们需要构造类似的请求，包括设置合适的请求头（如User-Agent、Referer等）、参数（如搜索关键词、分页令牌等）以及请求体（包含搜索的上下文信息等），以模拟用户在浏览器中进行搜索的行为。

  • 解析响应数据：YouTube返回的搜索结果数据是JSON格式的，其中包含了视频的基本信息，如视频链接、标题、播放量、发布时间、作者昵称和主页链接等。我们需要编写解析逻辑，从JSON数据中提取出这些有用的信息，并将其整理成结构化的数据格式，以便后续的存储和分析。

  • 分页爬取与数据存储：由于YouTube的搜索结果通常会有很多页，为了完整地获取所有相关视频信息，我们需要实现分页爬取的功能。在每次请求中，我们可以通过解析返回数据中的分页令牌来判断是否存在下一页，并循环发送请求直到获取到所有页面的数据。同时，我们将爬取到的视频数据存储到CSV文件中，方便用户后续查看和使用。

三、代码实现

1.发送搜索请求

我们实现了get方法，用于发送搜索请求并获取YouTube的响应数据。在这个方法中，我们根据是否是首次请求（通过token参数判断），构造不同的请求体数据。首次请求时，我们直接传递搜索关键词；后续分页请求时，则使用分页令牌来获取下一页的数据。

def get(self, keyword, token):
    url = "https://www.youtube.com/youtubei/v1/search"
    params = {
        "prettyPrint": "false"
    }
    if token != "-1":
        data = {
            "context": {
                "client": {
                    "hl": "zh-CN",
                    "gl": "HK",
                    "remoteHost": "103.17.98.17",
                    "deviceMake": "",
                    "deviceModel": "",
                    "visitorData": "CgthSS1jZ09JTTY3ayj44Iy9BjIKCgJISxIEGgAgWg%3D%3D",
                    "userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36,gzip(gfe)",
                    "clientName": "WEB",
                    "clientVersion": "2.20250203.06.01",
                    "osName": "Windows",
                    "osVersion": "10.0",
                    "originalUrl": f"https://www.youtube.com/results?search_query={quote(keyword)}&themeRefresh=1",
                    "platform": "DESKTOP",
                    "clientFormFactor": "UNKNOWN_FORM_FACTOR",
…………}
    else:
        data = {
            "context": {
                "client": {
                    "hl": "zh-CN",
                    "gl": "HK",
                    "remoteHost": "103.17.98.17",
                    "deviceMake": "",
                    "deviceModel": "",
                    "visitorData": "CgthSS1jZ09JTTY3ayj44Iy9BjIKCgJISxIEGgAgWg%3D%3D",
                    "userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36,gzip(gfe)",
                    "clientName": "WEB",
                    "clientVersion": "2.20250203.06.01",
                    "osName": "Windows",
                    "osVersion": "10.0",
                    "originalUrl": f"https://www.youtube.com/results?search_query={quote(keyword)}",
                    "platform": "DESKTOP",
                    "clientFormFactor": "UNKNOWN_FORM_FACTOR",
…………}
    data = json.dumps(data, separators=(',', ':'))
    response = requests.post(url, headers=headers, cookies=cookies, params=params, data=data, timeout=(3, 10))
    return response.json()

2.解析响应数据

在获取到YouTube的响应数据后，我们需要从中提取出有用的视频信息。这部分逻辑由parse_data方法实现。我们首先解析出视频的基本信息，如视频链接、标题、播放量、发布时间、作者昵称和主页链接等，并将这些信息存储到一个列表中。同时，我们还会尝试从响应数据中获取分页令牌，以便后续进行分页爬取。

def parse_data(self, keyword, contents):
    token = None
    contents_1 = contents[0]['itemSectionRenderer']['contents']
    result_list = []
    for c in contents_1:
        videoRenderer = c.get('videoRenderer')
        if videoRenderer:
            videoId = videoRenderer.get('videoId')
            video_url = f"https://www.youtube.com/watch?v={videoId}"
            title = "".join([tt['text'] for tt in videoRenderer['title'].get('runs', [])])
            viewCountText = videoRenderer.get('viewCountText', {}).get('simpleText', '')
            publishedTimeText = videoRenderer.get('publishedTimeText', {}).get('simpleText', '')
            username = videoRenderer['ownerText']['runs'][0]['text']
            uid_ = videoRenderer['ownerText']['runs'][0]['navigationEndpoint']['browseEndpoint']['canonicalBaseUrl']
            p_url = f"https://www.youtube.com{uid_}"
            item = {
                "关键词": keyword,
                "视频链接": video_url,
                "标题": title,
                "发布时间": publishedTimeText,
                "播放量": viewCountText,
                "昵称": username,
                "主页链接": p_url,
            }
            self.log(f"找到视频：{title}")
            result_list.append(item)

    try:
        token = contents[1]['continuationItemRenderer']['continuationEndpoint']['continuationCommand']['token']
    except:
        pass
    if result_list:
        self.save_data(self.saveFileName, result_list)

    return token

3.主逻辑与分页爬取

最后，我们实现了run方法和main方法。run方法用于控制爬虫的运行逻辑，包括发送搜索请求、解析响应数据、存储数据以及分页爬取等功能。main方法则用于读取关键词文件，并依次对每个关键词启动爬虫。

 

def run(self, keyword, token="-1"):
    self.current_token = token
    self.saveFileName = keyword

    while self.is_running and self.current_token:
        try:
            # 检查页数限制
            if self.max_pages and self.current_page >= self.max_pages:
                self.log(f"已达到设定的{self.max_pages}页限制，停止爬取")
                break

            self.log(f"正在爬取第 {self.current_page + 1} 页")
            dataJson = self.get(keyword, self.current_token)
            if self.current_token == "-1":
                contents = dataJson["contents"]["twoColumnSearchResultsRenderer"]["primaryContents"]["sectionListRenderer"]["contents"]
            else:
                contents = dataJson["onResponseReceivedCommands"][0]["appendContinuationItemsAction"]["continuationItems"]
            self.current_token = self.parse_data(keyword, contents)
            self.current_page += 1
        except Exception as e:
            self.log(f"发生错误：{str(e)}")
            break

def main(self):
    keyword_list = [k.strip() for k in open('关键词.txt', encoding='utf-8').readlines() if k.strip() != ""]
    xuhao = 0
    for index, keyword in enumerate(keyword_list[xuhao:], xuhao):
        print((index, keyword))
        self.run(keyword)

 

四、总结

通过以上代码的实现，我们成功地开发了一个能够自动搜索并提取YouTube视频信息的爬虫工具。它可以帮助我们快速获取特定关键词相关的视频数据，并将其存储到CSV文件中，方便后续的分析和使用。在实际应用中，我们还可以根据需求对爬虫进行进一步的优化和扩展，例如增加代理支持、设置爬取频率等，以提高爬虫的稳定性和效率。

希望这篇文章能够帮助你更好地理解和实现YouTube视频搜索爬虫。如果有任何问题或建议，欢迎在评论区留言交流！

 


http://www.kler.cn/a/546738.html

相关文章：

  • 把 DeepSeek1.5b 部署在显卡小于4G的电脑上
  • 最新华为 HCIP-Datacom（H12-821）
  • Android studio：如何在同一个页面显示多个fragment
  • 常用的MySQL 高级 SQL 技巧（统计聚合）
  • Elasticsearch：同义词在 RAG 中重要吗？
  • 【腾讯地图】录入经纬度功能 - 支持地图选点
  • 第四十四篇--Tesla P40+Janus-Pro-7B部署与测试
  • 如何在Ubuntu中切换多个PHP版本
  • 网络安全知识：网络安全网格架构
  • 微信小程序中缓存数据全方位解惑
  • 淘宝商品详情API接口在移动端应用中的集成实践
  • 【C++】C++-教师信息管理系统（含源码+数据文件）【独一无二】
  • 使用 YOLOv8 模型分析摄像头的图像
  • 链表（典型算法思想）—— OJ例题算法解析思路
  • 开发去中心化应用（DApp）的完整路径：从0到1的实践指南
  • Flutter项目试水
  • TCP/IP 四层模型数据的封装过程
  • Cocos Creator 3.8 版本开发 2D 游戏常用组件和方法
  • 快速设置 Docker 网络代理配置
  • 一天急速通关SpringMVC