Python 视频爬取教程

前言

以下是一个较为完整的 Python 视频爬取教程，包含基本原理、不同网站的爬取示例以及注意事项。

基本原理

视频爬取本质上是模拟浏览器向服务器发送请求，获取包含视频信息的网页内容，解析出视频的真实下载地址，然后将视频文件下载到本地。一般会用到requests库来发送请求，BeautifulSoup或lxml库来解析网页内容。

环境准备

Python安装

访问 Python 官方网站，根据你的操作系统（Windows、Mac 或 Linux）下载并安装 Python 3.x 版本。安装时勾选 “Add Python to PATH”，方便在命令行中使用 Python。

Python 3.11安装教程：https://blog.csdn.net/u014164303/article/details/145549489
Python 3.13安装教程：https://blog.csdn.net/u014164303/article/details/146024500

Python 3.11下载地址：https://pan.quark.cn/s/9c44793cb24c
Python 3.13下载地址：https://pan.quark.cn/s/bce37ebd7f70

选择Python开发环境

PyCharm 社区版（免费）或专业版（需付费或申请教育版）。安装完成后，打开 PyCharm，创建一个新的项目，在项目设置中选择之前创建的虚拟环境作为项目的 Python 解释器。PyCharm 功能强大，提供代码自动补全、调试等功能，适合开发大型项目。

Pycharm安装教程：https://blog.csdn.net/u014164303/article/details/145674773
PyCharm下载地址：https://pan.quark.cn/s/5756c8cf8b2a

安装必要库

在开始之前，需要安装必要的 Python 库。可以使用以下命令进行安装：

pip install requests beautifulsoup4 lxml

示例 1：爬取简单直链视频

有些网站会直接提供视频的下载链接，对于这类视频，爬取过程相对简单。以下是一个示例代码：

import requests

def download_video(url, save_path):
    try:
        # 发送请求，获取视频内容
        response = requests.get(url, stream=True)
        response.raise_for_status()

        # 以二进制写入模式打开文件
        with open(save_path, 'wb') as file:
            for chunk in response.iter_content(chunk_size=8192):
                if chunk:
                    file.write(chunk)
        print(f"视频下载成功，保存路径：{save_path}")
    except requests.RequestException as e:
        print(f"下载失败：{e}")

# 视频的直接下载链接
video_url = "https://example.com/video.mp4"
# 保存视频的本地路径
save_path = "video.mp4"

download_video(video_url, save_path)

示例 2：爬取基于 HTML5 的视频（以某简单视频网站为例）

有些网站使用 HTML5 的标签来播放视频，我们可以通过解析网页内容获取视频的真实地址。

import requests
from bs4 import BeautifulSoup

def get_video_url(url):
    try:
        # 发送请求，获取网页内容
        response = requests.get(url)
        response.raise_for_status()

        # 使用 BeautifulSoup 解析网页
        soup = BeautifulSoup(response.text, 'lxml')
        # 查找 video 标签
        video_tag = soup.find('video')
        if video_tag:
            # 获取视频的 src 属性
            video_url = video_tag.get('src')
            if video_url:
                if not video_url.startswith('http'):
                    # 处理相对路径
                    base_url = url.rsplit('/', 1)[0]
                    video_url = f"{base_url}/{video_url}"
                return video_url
    except requests.RequestException as e:
        print(f"请求失败：{e}")
    return None

def download_video(url, save_path):
    try:
        response = requests.get(url, stream=True)
        response.raise_for_status()
        with open(save_path, 'wb') as file:
            for chunk in response.iter_content(chunk_size=8192):
                if chunk:
                    file.write(chunk)
        print(f"视频下载成功，保存路径：{save_path}")
    except requests.RequestException as e:
        print(f"下载失败：{e}")

# 视频网页的 URL
web_url = "https://example.com/video_page.html"
# 获取视频的真实下载地址
video_url = get_video_url(web_url)
if video_url:
    save_path = "video.mp4"
    download_video(video_url, save_path)
示例 3：爬取短视频平台视频（以抖音为例）
抖音的视频爬取相对复杂，因为其采用了加密和反爬机制。以下是一个简单的示例：
python
import requests
import re

def get_douyin_video_url(share_url):
    try:
        # 发送请求，获取重定向后的 URL
        response = requests.get(share_url, allow_redirects=True)
        response.raise_for_status()

        # 使用正则表达式提取视频 ID
        video_id_pattern = re.compile(r'video/(\d+)')
        match = video_id_pattern.search(response.url)
        if match:
            video_id = match.group(1)
            # 构造视频 API 请求 URL
            api_url = f"https://www.iesdouyin.com/web/api/v2/video/playwm/?video_id={video_id}"
            headers = {
                "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
            }
            # 发送 API 请求，获取视频信息
            api_response = requests.get(api_url, headers=headers)
            api_response.raise_for_status()
            data = api_response.json()
            if 'video' in data and 'play_addr' in data['video'] and 'url_list' in data['video']['play_addr']:
                video_url = data['video']['play_addr']['url_list'][0]
                # 去除水印
                video_url = video_url.replace("playwm", "play")
                return video_url
    except requests.RequestException as e:
        print(f"请求失败：{e}")
    return None

def download_video(url, save_path):
    try:
        response = requests.get(url, stream=True)
        response.raise_for_status()
        with open(save_path, 'wb') as file:
            for chunk in response.iter_content(chunk_size=8192):
                if chunk:
                    file.write(chunk)
        print(f"视频下载成功，保存路径：{save_path}")
    except requests.RequestException as e:
        print(f"下载失败：{e}")

# 抖音视频的分享链接
share_url = "https://v.douyin.com/xxxxxx/"
# 获取视频的真实下载地址
video_url = get_douyin_video_url(share_url)
if video_url:
    save_path = "douyin_video.mp4"
    download_video(video_url, save_path)

注意事项

• 遵守法律法规：在进行视频爬取时，必须遵守相关法律法规和网站的使用条款，不得进行非法爬取和传播。
• 反爬机制：许多网站都有反爬机制，如 IP 封禁、验证码等。可以使用代理 IP、设置合理的请求头和请求间隔时间来绕过反爬机制。
• 版权问题：确保下载的视频具有合法的使用权限，避免侵犯他人的版权。
  通过以上教程，你可以了解到不同场景下 Python 视频爬取的基本方法。在实际应用中，需要根据具体网站的特点进行调整。