2024.11.03 周报
一 实时超分音频同步问题:
处理方向：
- 按照胡学长的办法尝试: 前面处理视频, 将视频中音频提取出来, 将音频每隔 1-2 秒保存为一段 (这样将音频缓存在内存中) , 然后依次播放, 但是音频是44.1KHz采样率，每秒44100次的频率. 每次间隔中程序处理的极短时间也会出现不可
在这里插入代码片避免的卡顿现象(人耳可以感觉到极短时间的声音卡顿). 底层全部实现的话,确实是需要一定时间. - 查看ffmpeg 和 ffplay文档
ffplay -i .\1_output_audio.aac -af "adelay=2000|2000"使用 -af 参数, 应用音频滤镜，达到延迟效果。
ffmpeg -i .\1.mp4 -itsoffset 2 -i .\1_output_audio.aac -map 0:v -map 1:a -c:v copy -c:a aac output.mp4使用-itsoffset 2 参数设置输入时间戳的偏移量, 将输入音频流的时间戳延迟 2 秒。
ffmpeg 解转码延迟, ffplay播放延迟均是一种可行性方案.
实际效果：
1. 离线视频：
实现一段离线360P视频实时超分+音视频同步，可以在康佳进行演示。
2. 视频流：
视频流中音频延迟稳定播放已经解决。我使用摄像头的视频流模拟实际电视视频流， 实现了音频的5秒延迟（可设置延迟时间），详细说明可见以下博文：
https://blog.csdn.net/SZ170110231/article/details/143449223?fromshare=blogdetail&sharetype=blogdetail&sharerId=143449223&sharerefer=PC&sharesource=SZ170110231&sharefrom=from_link
二 环境部署：
- 康佳PC机：部署超分环境，conda，python，torch， ffmpeg等。
- RK3588重装系统，从零开始部署了全套环境。
下周计划
- 板端整套的代码实现，整个演示系统。
- 模型推理优化加速。