NCMMSC-CNVSRC 2024视觉语音识别竞赛圆满落幕
8月16日上午，NCMMSC-CNVSRC 2024 学术研讨会在乌鲁木齐召开的第十九届全国人机语音通讯学术会议（NCMMSC 2024）上举行。会上公布了本次视觉语音识别竞赛 CNVSRC 2024 的最终结果，并举行了颁奖仪式。
本次竞赛由 NCMMSC 2024 组委会发起，清华大学、北京邮电大学、海天瑞声和语音之家联合主办。竞赛旨在检验当前视觉语音识别（或称唇语识别）技术在中文大词表连续识别场景下的表现。
本次竞赛吸引了45支海内外队伍参赛，历经近三个月的角逐，西北工业大学、内蒙古大学、武汉大学等队伍表现突出，名列前茅。详细赛事结果及报告视频将发布在竞赛官网，敬请关注：CN-Celeb
CNVSRC 2024 排行榜
| T1 Single-speaker VSR - Fixed Track 赛道 | |
| 1 | T237 西北工业大学 FlySpeech |
| 2 | T244 内蒙古大学 Dream Boy |
| T1 Single-speaker VSR - Open Track 赛道 | |
| 1 | 匿名提交 |
| 2 | T237 西北工业大学 FlySpeech |
| T2 Multi-speaker VSR - Fixed Track 赛道 | |
| 1 | T237 西北工业大学 FlySpeech |
| 2 | 匿名提交 |
| 3 | T244 内蒙古大学 Dream Boy |
| T2 Multi-speaker VSR - Open Track 赛道 | |
| 1 | T237 西北工业大学 FlySpeech |
| 2 | 匿名提交 |
| 3 | T405 武汉大学 Sophin |
本次研讨会由清华大学王东教授主持。海天瑞声CMO王潇蔓女士和语音之家创始人兼CEO卜辉先生为获奖团队颁奖。北京邮电大学刘泽华同学分享了基线系统与技术报告，三支优秀参赛队伍代表还受邀分享了他们的技术方案和赛事经验。
清华大学王东教授主持技术交流会
海天瑞声CMO王潇蔓致辞并主持颁奖
语音之家创始人兼CEO卜辉致辞并主持颁奖
北京邮电大学刘泽华同学分享基线系统与技术报告
西北工业大学、内蒙古大学、武汉大学团队代表领奖
西北工业大学团队代表技术分享
内蒙古大学团队代表线上技术分享
武汉大学团队代表线上技术分享
CNVSRC 2024 组委会成员
视觉语音识别
视觉语音识别，也称唇语识别，是一项通过口唇动作来推断发音内容的技术。该技术在公共安全、助老助残、视频验真等领域具有重要应用。当前，唇语识别的研究方兴未艾，虽然在独立词、短语等识别上取得了长足进展，但在大词表连续识别方面仍面临巨大挑战。特别是对于中文而言，由于缺乏相应的数据资源，该领域的研究进展受到了限制。为此，清华大学在2023年发布了 CN-CVS 数据集[1]，成为首个大规模的中文视觉语音识别数据库，为进一步推动大词表连续视觉语音识别 (LVCVSR) 提供了可能，并于同年举办了 CNVSRC 2023 竞赛[2]，推动了唇语识别在中文领域的进展。
为了进一步推动这一研究方向，清华大学联合北京邮电大学、海天瑞声和语音之家在 NCMMSC 2024 继续举办了中文连续视觉语音识别挑战赛 (Chinese Continuous Visual Speech Recognition Challenge 2024, CNVSRC 2024)。本次竞赛中，许多参赛队伍在唇语识别任务上实现了系统性能的显著提升，其中最佳成绩相较于基线系统提升了超过30%。此外，与 CNVSRC 2023 相比，2024年各赛道的成绩均有明显进步。各支参赛队伍提出了诸多创新方案，为中文大词表连续视觉语音识别研究提供了新的思路和方法。
[1] C. Chen, D. Wang, T.F. Zheng, CN-CVS: A Mandarin Audio-Visual Dataset for Large Vocabulary Continuous Visual to Speech Synthesis, ICASSP, 2023.
[2] C. Chen, Z. Liu, X. Li, L. Li, D. Wang, CNVSRC 2023: The First Chinese Continuous Visual Speech Recognition Challenge, INTERSPEECH, 2024.