当前位置：首页 > article >正文

基于Pytorch实现的说话人日志（说话人分离）

article 2024/12/24 3:02:50

前言

VoiceprintRecognition_Pytorch 是博主开源的一款声纹识别框架，该框架支持EcapaTdnn、ResNetSE、ERes2Net、CAM++等多种先进的声纹识别模型，也支持了MelSpectrogram、Spectrogram、MFCC、Fbank等多种数据预处理方法，支持AAMLoss、AMLoss、ARMLoss、CELoss等多种损失函数。该框架支持多种关于声纹识别的处理，比如声纹对，比声纹检索，以及本文章需要介绍的说话人日志（说话人分离）。

使用说话人日志

关于模型的获取，开发者可以自己训练模型，也可以下载博主提供的模型。具体获取方法请去VoiceprintRecognition_Pytorch开源地址查看。这里只介绍如何使用该框架的说话人日志功能。

执行infer_speaker_diarization.py程序，输入音频路径，就可以分离出说话人，并显示结果，建议音频长度不要低于10秒。更多功能可以查看该程序参数。

python infer_speaker_diarization.py --audio_path=dataset/test_long.wav

输出类似如下，从日志里面可以看出，它不仅可以分离音频中每个说话人的说话位置，而且还能够识别是谁说了哪些话，不过这个是要提前注册的：

2024-10-10 19:30:40.768 | INFO     | mvector.predict:__init__:61 - 成功加载模型参数：models/CAMPPlus_Fbank/best_model/model.pth
2024-10-10 19:30:40.795 | INFO     | mvector.predict:__create_index:127 - 声纹特征索引创建完成，一共有3个用户，分别是：['沙瑞金', '夜雨飘零', '李达康']
2024-10-10 19:30:40.796 | INFO     | mvector.predict:__load_audio_db:142 - 正在加载声纹库数据...
100%|██████████| 3/3 [00:00<?, ?it/s]
2024-10-10 19:30:40.798 | INFO     | mvector.predict:__create_index:127 - 声纹特征索引创建完成，一共有3个用户，分别是：['沙瑞金', '夜雨飘零', '李达康']
2024-10-10 19:30:40.798 | INFO     | mvector.predict:__load_audio_db:172 - 声纹库数据加载完成！
识别结果：
{'speaker': '沙瑞金', 'start': 0.0, 'end': 2.0}
{'speaker': '陌生人1', 'start': 4.0, 'end': 7.0}
{'speaker': '李达康', 'start': 7.0, 'end': 8.0}
{'speaker': '沙瑞金', 'start': 9.0, 'end': 12.0}
{'speaker': '沙瑞金', 'start': 13.0, 'end': 14.0}
{'speaker': '陌生人1', 'start': 15.0, 'end': 19.0}

显示结果图像如下，可以通过空格键控制播放音频，点击位置可以跳转音频到指定位置：
说话人日志

项目同样提供了GUI界面的程序，执行infer_speaker_diarization_gui.py程序。更多功能可以查看该程序参数。

python infer_speaker_diarization_gui.py

可以打开这样一个页面，进行说话人识别：
在这里插入图片描述

注意：如果说话人名字是中文的，需要设置安装字体才能正常显示，一般情况下Windows无需安装，Ubuntu需要安装。如果Windows确实是缺少字体，只需要字体文件这里下载.ttf格式的文件，复制到C:\Windows\Fonts即可。Ubuntu系统操作如下。

安装字体

git clone https://github.com/tracyone/program_font && cd program_font && ./install.sh

执行下面Python代码

import matplotlib
import shutil
import os

path = matplotlib.matplotlib_fname()
path = path.replace('matplotlibrc', 'fonts/ttf/')
print(path)
shutil.copy('/usr/share/fonts/MyFonts/simhei.ttf', path)
user_dir = os.path.expanduser('~')
shutil.rmtree(f'{user_dir}/.cache/matplotlib', ignore_errors=True)