【音频】Glitch、降噪相关

背景

因为要判断低码率下，MOS分值为啥下降，从几个方面调查。其中提及到Glitch、缓冲buffer等，慢慢积累名次概念以及经验。

“Glitch” 在音频领域通常指的是非预期的、短暂的干扰或失真。这些问题可能由于信号传输错误、设备问题、软件错误等引起。处理音频
glitch 的具体方法取决于问题的根本原因。

以下是一些可能的算法和处理方法：

1. 波形插值（Waveform Interpolation）： 通过在 glitch 区域内对波形进行插值，尝试平滑过渡，减少突变。这在一些情况下可能有助于减轻失真。

2. 波形剪裁（Waveform Clipping）： 如果 glitch 是由于波形超出正常范围导致的，可以考虑剪裁超出范围的部分，使其回到正常范围。

3. 交叉淡入淡出（Crossfade）： 在 glitch 区域的两侧应用交叉淡入淡出，平滑过渡，减少突变的感觉。

4. 重采样（Resampling）： 尝试将 glitch 区域的采样率进行调整，有时这可以减轻某些类型的干扰。

5. 去噪（Noise Reduction）： 如果 glitch 是由于噪声引起的，可以尝试应用去噪算法，将噪声成分降低。

6. 音频重建（Audio Reconstruction）： 在某些情况下，可以尝试使用音频重建算法，通过从周围的音频数据中推断并填充 glitch 区域。

7. 重新采样和量化（Resampling and Quantization）： 重新采样和量化算法可以尝试修复由于采样和量化错误导致的 glitch。

8. 检测与修复（Detection and Repair）： 使用算法检测 glitch 区域，然后根据检测到的问题类型应用相应的修复算法。

9. 软件修复工具： 一些音频编辑软件和数字音频工作站（DAW）提供了专门用于修复 glitch 的工具和插件。

处理 glitch 可能是一项复杂的任务，因为它取决于具体的音频文件和问题的性质。在进行处理之前，最好备份原始音频文件，以防意外损坏。

“Choppy”
是一个用于描述音频或视频体验的术语，通常指的是媒体播放过程中的不流畅或卡顿现象。具体表现为声音断断续续或图像播放时出现卡顿。

在音频中，“choppy” 可能指的是声音的中断或跳跃，导致听起来不连贯或有间歇性的干扰。

在视频中，“choppy” 可能表示图像播放时的不流畅，可能由于帧率低、网络问题、硬件性能不足或其他因素引起。

当面临音视频播放过程中的 “choppy” 问题时，可以考虑以下一些常见的解决方法：

1. 调整媒体播放参数：

   • 帧率调整： 确保媒体文件的帧率与播放设备/应用的帧率兼容。不同的设备和应用可能对帧率有不同的要求。
   • 分辨率调整： 降低媒体文件的分辨率，以减轻对硬件资源的压力。

2. 优化网络连接：

   • 网络带宽： 如果是在线媒体流，确保网络带宽足够支持流畅的播放。低网络带宽可能导致视频缓冲或加载时间过长。
   • 网络稳定性： 确保网络连接稳定，避免丢包或波动。

3. 更新硬件驱动程序：

   • 显卡驱动程序： 更新显卡驱动程序，以确保与媒体播放应用的兼容性。
   • 音频驱动程序： 确保音频设备的驱动程序是最新的，以解决音频播放中的问题。

4. 关闭其他应用程序：

   • 关闭同时运行的其他应用程序，以释放系统资源，确保媒体播放应用能够获得足够的计算资源。

5. 使用专业的媒体播放器：

   • 使用经过优化的媒体播放器，如VLC、MPC-HC等，它们通常对各种媒体格式和参数有更好的支持。

6. 检查硬件性能：

   • 检查计算机或移动设备的硬件性能，确保其足够处理高分辨率或高比特率的媒体文件。

7. 调整应用设置：

   • 根据具体的媒体播放应用，检查和调整应用的相关设置，可能有一些参数可以优化播放性能。

除硬件降噪、软件降噪、WebRTC 3A（Acoustic Echo Cancellation、Automatic Gain
Control、Automatic Noise Suppression）和SFU（Selective Forwarding
Unit）算法之外，还有一些其他常见的音视频降噪方法和技术：

1. 故障检测和排除（Fault Detection and Diagnostics，FDD）： 通过监测设备的状态和性能，及时检测到硬件或软件的故障，并进行自动排除。

2. 深度神经网络（Deep Neural Networks，DNN）： 利用深度学习中的深度神经网络来进行高级的音视频降噪，通过训练网络模型学习信号中的噪音特征。

3. 主动噪音控制（Active Noise Control，ANC）： ANC 使用反向的噪音波形来抵消环境中的噪音，从而实现噪音的抑制。

4. 环境噪音监测和适应（Environmental Noise Monitoring and Adaptation）： 根据环境中的噪音水平动态调整降噪算法参数，以适应不同的环境条件。

5. 麦克风阵列技术（Microphone Array）： 使用多个麦克风的阵列，通过对声音信号的多通道处理来提高语音信号的质量和降低噪音。

6. 增强现实（Augmented Reality，AR）： 在音视频通信中应用AR技术，通过虚拟场景和对象的添加，减轻用户对真实环境中噪音的感知。

7. 网络降噪： 在音视频传输中，通过网络优化、丢包重传等技术来减少网络引入的噪音和抖动。

8. 声源定位和追踪（Sound Source Localization and Tracking）： 通过检测声音源的方向和位置，有助于集中处理目标声源，减少环境噪音的影响。

这些方法可能会结合使用，具体选择取决于应用的需求和环境条件。在实际应用中，通常需要综合考虑硬件、软件、网络等多个因素，以达到最佳的音视频质量。

音视频降噪是一种处理技术，用于减少或消除音频或视频信号中的噪音。降噪技术可以分为多种类型，根据其应用领域和处理原理的不同，以下是一些常见的音视频降噪类型：

1. 频域降噪： 频域降噪是通过对频域信号进行分析和处理来减少噪音。常见的频域降噪方法包括傅里叶变换、小波变换等。

2. 时域降噪： 时域降噪是通过对时域信号进行分析和处理来减少噪音。时域降噪方法包括滤波器设计、自适应滤波等。

3. 自适应降噪： 自适应降噪方法根据信号的动态特性调整降噪参数。这种方法通常使用自适应滤波器，根据环境和信号变化来动态调整滤波器的系数。

4. 谱减法： 谱减法是一种常见的频域降噪方法，通过分析信号的频谱，将低于某个阈值的频率成分减弱或去除，保留高于阈值的清晰信号。

5. 子带域降噪： 子带域降噪方法将信号分解为多个子带，然后对每个子带进行独立的降噪处理，最后再合成为原始信号。

6. 深度学习降噪： 利用深度学习技术，尤其是卷积神经网络（CNN）和循环神经网络（RNN）等，对音视频信号进行学习和降噪处理。

7. 语音活动检测（VAD）： VAD 技术在降噪中也扮演着重要的角色。它可以帮助确定语音和非语音活动部分，从而有选择性地应用降噪算法。

8. 声学回音消除（AEC）： AEC 技术专注于去除音频信号中的回音，以提高通话质量。

这些降噪技术通常根据特定的应用场景和要求进行选择和组合使用，以达到最佳的降噪效果。