当前位置： 首页 > article >正文

Python爬虫使用实例-mdrama

article 2024/10/6 7:42:04

一个Python爬虫使用实例：主要用于下载指定的剧集音频。分别从网页和json文件中获取剧集的title和剧集中所存在音频的id，调用you-get，最后自动重命名下载文件夹为剧集名title。

目标网址：

https://www.missevan.com/mdrama/×××××

其中×××××为drama的id，例如28021

  • 从getdrama的json文件中获取drama列表中的id和name
  • 用you-get获取音乐【 1.使用pyautogui调用you-get ，2. 使用 os.system() 直接调用 you-get 命令行工具】
  • drama文件夹自动重命名为剧集名
  • 下载多个drama

一、获取资源

在这里插入图片描述
首先明确需求，需要获取音频的id和name分别作为data和title，查看源码，发现看不到：
在这里插入图片描述

可以从getdrama的json文件中获取id和name（不，用you-get的话只需要id）。
在这里插入图片描述
以28021为例，0-276，共277个music
在这里插入图片描述
小细节：听剧的时候一般是不会出现drama的，他一般是出现sound/player，点大标题可以跳转到drama，或者去源码查看（关于url）
在这里插入图片描述

二、发送请求

获取json文件

json_url = f'https://www.missevan.com/dramaapi/getdrama?drama_id={drama_id}'

# 将获取的 JSON 数据写入文件
with open('getdrama.json', 'w', encoding='utf-8') as f:
    f.write(response.text)

读取json文件

# 读取 getdrama.json 文件
with open('getdrama.json', 'r', encoding='utf-8') as f:
    content = f.read()

因为用的是you-get，需要提前切换到西文状态下，而文件夹名可能含有中文字符，所以在download之后才重命名为title。

# 下载音频文件
download_dir = 'D:/drama1/'
if not os.path.exists(download_dir):
    os.mkdir(download_dir)
    
(省略部分代码....)

download()
os.rename(download_dir, f'D:/{title}/')

三、数据解析

获取drama的id

drama_id = re.search(r'/mdrama/(\d+)', url).group(1)  # 提取 drama_id

获取drama的名称：

title = selector.css('.title-content::text').get().replace(' ','').replace('\n','')

获取drama中音频的id

# 匹配包含 "id" 和 "sound_id" 的 JSON 对象
pattern = r'\{"id":.*?\}'  # 正则表达式匹配模式
matches = re.findall(pattern, content)

# 提取匹配的 JSON 对象中的所需字段
results = []

for match in matches:
    try:
        data_dict = json.loads(match)
        sound_id = data_dict.get("sound_id")
        if sound_id:
            results.append({"name": data_dict.get("name"), "sound_id": sound_id})
    except json.JSONDecodeError:
        continue  # 忽略 JSON 解码错误

# 将结果列表转换为 DataFrame
df = pd.DataFrame(results)

四、保存数据

you-get -o {download_dir} {url}

五、代码实现

1/ 单个剧集

单个drama可以自动改文件名 ，drama列表暂时不能

# 单个剧集mdrama 下载后自动改文件名
import os
import re
import json
import time
import requests
import parsel
import pyautogui
import pyperclip
import pandas as pd

url ='https://www.missevan.com/mdrama/23468'
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.139 Safari/537.36'}
drama_id = re.search(r'/mdrama/(\d+)', url).group(1)  # 提取 drama_id
json_url = f'https://www.missevan.com/dramaapi/getdrama?drama_id={drama_id}'
response = requests.get(json_url)
response1 = requests.get(url=url,headers=headers)
selector = parsel.Selector(response1.text)
title = selector.css('.title-content::text').get().replace(' ','').replace('\n','')
invalid_chars_pattern = r'[\/:*?"<>|]' # 定义需要替换的非法字符
title = re.sub(invalid_chars_pattern, '｜', title) # 将非法字符替换为空格
print(title)
# 将获取的 JSON 数据写入文件
with open('getdrama.json', 'w', encoding='utf-8') as f:
    f.write(response.text)

# 读取 getdrama.json 文件
with open('getdrama.json', 'r', encoding='utf-8') as f:
    content = f.read()

# 匹配包含 "id" 和 "sound_id" 的 JSON 对象
pattern = r'\{"id":.*?\}'  # 正则表达式匹配模式
matches = re.findall(pattern, content)

# 提取匹配的 JSON 对象中的所需字段
results = []
for match in matches:
    try:
        data_dict = json.loads(match)
        sound_id = data_dict.get("sound_id")
        if sound_id:
            results.append({"name": data_dict.get("name"), "sound_id": sound_id})
    except json.JSONDecodeError:
        continue  # 忽略 JSON 解码错误

# 将结果列表转换为 DataFrame
df = pd.DataFrame(results)

# 下载音频文件
download_dir = 'D:/drama1/'
if not os.path.exists(download_dir):
    os.mkdir(download_dir)

# 打开命令提示符
pyautogui.hotkey("win", "r")
pyautogui.typewrite('cmd')
time.sleep(3)
pyautogui.press('enter')
time.sleep(3)

def download():
    for sound_id in df['sound_id']:
        url = f"https://www.missevan.com/sound/player?id={sound_id}"
        pyautogui.typewrite(f'you-get -o {download_dir} {url}')
        # pyperclip.copy(url)
        # pyautogui.hotkey("ctrl", "v")
        pyautogui.press("enter")

download()
os.rename(download_dir, f'D:/{title}/')

2/ 剧集列表

url是列表:

import os
import re
import json
import time
import requests
import parsel
import pyautogui
import pyperclip
import pandas as pd

# 设置多个剧集的 URL 列表
urls = [
    'https://www.missevan.com/mdrama/23468',
    'https://www.missevan.com/mdrama/1003',  # 添加更多剧集的 URL
    # 可以继续添加其他 URL
]
# 遍历每个 URL 进行处理
for url in urls:
    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.139 Safari/537.36'}
    drama_id = re.search(r'/mdrama/(\d+)', url).group(1)  # 提取 drama_id
    json_url = f'https://www.missevan.com/dramaapi/getdrama?drama_id={drama_id}'
    response = requests.get(json_url)
    response1 = requests.get(url=url, headers=headers)
    selector = parsel.Selector(response1.text)
    title = selector.css('.title-content::text').get().replace(' ', '').replace('\n', '')
    invalid_chars_pattern = r'[\/:*?"<>|]'  # 定义需要替换的非法字符
    title = re.sub(invalid_chars_pattern, '｜', title)  # 将非法字符替换为空格
    print(title)
    # 将获取的 JSON 数据写入文件
    with open('getdrama.json', 'w', encoding='utf-8') as f:
        f.write(response.text)

    # 读取 getdrama.json 文件
    with open('getdrama.json', 'r', encoding='utf-8') as f:
        content = f.read()

    # 匹配包含 "id" 和 "sound_id" 的 JSON 对象
    pattern = r'\{"id":.*?\}'  # 正则表达式匹配模式
    matches = re.findall(pattern, content)

    # 提取匹配的 JSON 对象中的所需字段
    results = []
    for match in matches:
        try:
            data_dict = json.loads(match)
            sound_id = data_dict.get("sound_id")
            if sound_id:
                results.append({"name": data_dict.get("name"), "sound_id": sound_id})
        except json.JSONDecodeError:
            continue  # 忽略 JSON 解码错误

    # 将结果列表转换为 DataFrame
    df = pd.DataFrame(results)

    # 下载音频文件
    download_dir = f'D:/drama_{drama_id}/' # download_dir = 'D:/drama1/'
    if not os.path.exists(download_dir):
        os.mkdir(download_dir)

    # 打开命令提示符
    pyautogui.hotkey("win", "r")
    pyautogui.typewrite('cmd')
    time.sleep(3)
    pyautogui.press('enter')
    time.sleep(3)


    def download():
        for sound_id in df['sound_id']:
            url = f"https://www.missevan.com/sound/player?id={sound_id}"
            pyautogui.typewrite(f'you-get -o {download_dir} {url}')
            # pyperclip.copy(url)
            # pyautogui.hotkey("ctrl", "v")
            pyautogui.press("enter")

    download()

3/ 继续优化

优化代码：

  1. 删除 pyautogui 部分：使用 os.system() 直接调用 you-get 命令行工具，这消除了对图形界面的依赖并提高了代码的效率与稳定性。（原来使用的是pyautogui打开cmd命令提示符来使用you-get）
    在这里插入图片描述

  2. 批量重命名：在所有下载完成后，再统一进行批量重命名，添加了 download_directories 列表，用于存储每个 download_dir 和对应的 title。
    在这里插入图片描述
    出现了一个可能导致文件夹重命名失败的问题。title 变量在for循环中要在循环体内获取，每次URL处理时应动态产生，而不是在群体内静态不变。调整代码：
    在这里插入图片描述

4/ 最新代码

# 配合urls.txt使用
import os
import re
import json
import time
import parsel
import requests

# 读取 URL 列表
url_file = 'urls.txt'  # 假设 URL 列表存储在这个文本文件中
with open(url_file, 'r', encoding='utf-8') as f:
    urls = [line.strip() for line in f if line.strip()]  # 逐行读取并去除空行

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.139 Safari/537.36'
}

# 整体结果列表
total_results = []
download_directories = []  # 用于存储下载目录和标题的对应关系

# 遍历每个 URL
for url in urls:
    drama_id = re.search(r'/mdrama/(\d+)', url).group(1)  # 提取 drama_id
    json_url = f'https://www.missevan.com/dramaapi/getdrama?drama_id={drama_id}'

    response = requests.get(json_url)

    # 从响应获取标题
    response_text = response.text
    #pattern_title = r'"title":"(.*?)"'  # 假设标题在 JSON 中
    #title_match = re.search(pattern_title, response_text)
    #title = title_match.group(1).replace(' ', '').replace('\n', '') if title_match else f'drama_{drama_id}'

    selector = parsel.Selector(requests.get(url, headers=headers).text)
    title = selector.css('.title-content::text').get().replace(' ', '').replace('\n', '')
    invalid_chars_pattern = r'[\/:*?"<>|]'  # 定义需要替换的非法字符
    title = re.sub(invalid_chars_pattern, '｜', title)  # 将非法字符替换为空格
    print(title)

    # 将获取的 JSON 数据写入文件
    json_filename = f'{drama_id}_getdrama.json'
    with open(json_filename, 'w', encoding='utf-8') as f:
        f.write(response_text)

    # 读取 JSON 文件
    with open(json_filename, 'r', encoding='utf-8') as f:
        content = f.read()

    # 匹配包含 "id" 和 "sound_id" 的 JSON 对象
    pattern = r'\{"id":.*?\}'  # 正则表达式匹配模式
    matches = re.findall(pattern, content)

    # 提取匹配的 JSON 对象中的所需字段
    results = []

    for match in matches:
        try:
            data_dict = json.loads(match)
            sound_id = data_dict.get("sound_id")
            if sound_id:
                results.append({"name": data_dict.get("name"), "sound_id": sound_id})
        except json.JSONDecodeError:
            continue  # 忽略 JSON 解码错误

    # 将结果添加到总结果列表
    total_results.extend(results)

    # 下载音频文件
    download_dir = f'D:/drama_{drama_id}/'
    download_directories.append((download_dir, title))  # 保存目录和标题

    if not os.path.exists(download_dir):
        os.makedirs(download_dir)

    # 下载音频文件（使用 you-get 命令行工具）
    for sound in results:
        sound_id = sound['sound_id']
        download_url = f"https://www.missevan.com/sound/player?id={sound_id}"
        os.system(f'you-get -o "{download_dir}" {download_url}')
        time.sleep(2)  # 添加延时，避免命令太快

# 所有下载完成后，批量重命名文件夹
for download_dir, title in download_directories:
    target_dir = f'D:/{title}/'
    if not os.path.exists(target_dir):  # 检查重命名目标文件夹是否存在
        os.rename(download_dir, target_dir)
        print(f"文件夹 '{download_dir}' 已重命名为 '{target_dir}'")
    else:
        print(f"目标文件夹 '{target_dir}' 已存在，跳过重命名。")

运行结果：
在这里插入图片描述


http://www.kler.cn/news/334269.html

相关文章：

  • html+css+js实现轮播图
  • git diff 查看到一行变动，但是目测无差异怎么办？
  • Spring cloud 中gateway原理
  • 量子计算：下一次科技革命的引擎
  • 软质电源探秘：电鳗启发、人工构建及性能改进
  • Microsoft AI部门的CEO额备忘录
  • 基于工业物联网的能源监控系统：边缘数据处理的应用
  • python：reportlab 将多个图片合并成一个PDF文件
  • 【优选算法】（第二十二篇）
  • Studying-多线程学习Part1-线程库的基本使用、线程函数中的数据未定义错误、互斥量解决多线程数据共享问题
  • 速成java记录（上）
  • 分析JS Crash（进程崩溃）
  • 算法闭关修炼百题计划（二）
  • 深度学习基础—卷积神经网络示例
  • 如何使用 Django 框架进行用户认证的详细指南，涵盖用户注册和登录功能的实现。
  • Oracle架构之表空间详解
  • 物联网开发中上位机、下位机、服务器区分
  • Java版本的SSE服务端实现样例
  • 【LLM】Agent在智能客服的实践（AI agent、记忆、快捷回复 | ReAct）
  • STL06——手写一个简单版本的set