多模态大模型：将音频向量化
将音频向量化是将音频数据转化为适合机器学习算法处理的向量表示的过程。这个过程通常涉及从原始音频信号中提取特征，并将这些特征转化为数字向量。以下是几种常见的音频向量化方法：
1. 梅尔频率倒谱系数 (MFCC)
- 概念：MFCC 是一种常用的音频特征提取方法，特别是在语音识别和音乐分析中。它模拟了人耳感知声音的方式，通过对音频信号进行短时傅里叶变换（STFT），然后转换到梅尔尺度，最后提取倒谱系数。
- 步骤：
- 对音频信号进行帧分解。
- 计算每帧的短时傅里叶变换 (STFT)。
- 将频谱转换到梅尔尺度（通过梅尔滤波器组）。
- 提取梅尔频率倒谱系数（MFCC）。
- 应用：语音识别、音频分类、情感分析。
2. 谱图（Spectrogram）
- 概念：谱图是一种将音频信号转化为二维表示的方法，其中一维是时间，另一维是频率。每个时频点的值表示该时刻该频率的幅度。