【大语言模型】ACL2024论文-05 GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器

【大语言模型】ACL2024论文-05 GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器

GenTranslate: 大型语言模型是生成性多语种语音和机器翻译器

目录

摘要

本文提出了一种新的翻译任务范式“GenTranslate”，它基于大型语言模型（LLMs）来从N-best列表中生成更好的翻译结果。该范式利用LLMs丰富的语言知识和强大的推理能力，整合N-best候选信息以产生更高质量的翻译结果。此外，为了支持LLMs的微调，作者构建并发布了一个包含超过592K个N-best假设-翻译对的HypoTranslate数据集，涵盖11种语言。在各种语音和机器翻译基准测试（例如，FLEURS、CoVoST-2、WMT）上的实验表明，GenTranslate显著优于现有最先进模型。

研究背景

随着大型语言模型（LLMs）的发展，多语种语音和机器翻译领域取得了显著进展。LLMs通过减少表示错误和整合外部知识，推动了多语种语音和机器翻译的发展。然而，现有的翻译任务通常使用束搜索解码和top-1假设选择进行推理，这些技术难以充分利用N-best假设中的丰富信息，对于需要单一、高质量输出序列的翻译任务来说并不理想。

问题与挑战

主要挑战在于如何充分利用N-best假设中的信息来生成更准确、更高质量的翻译结果。

如何解决

作者提出了GenTranslate，它通过LLMs整合N-best列表中的不同翻译版本，以生成更高质量的翻译结果。此外，为了微调LLMs，作者构建了HypoTranslate数据集。

创新点

1. 提出了GenTranslate，这是一种新的利用LLMs生成高质量翻译结果的范式。
2. 构建并发布了HypoTranslate数据集，支持LLMs的微调。

算法模型

GenTranslate基于LLMs，通过整合N-best假设来生成翻译结果。它使用适当的指令提示LLMs，并通过自回归方式进行优化。具体来说，GenTranslate的框架包括：

• 使用SeamlessM4T作为基础翻译模型，进行束搜索解码和假设生成。
• 利用LLMs整合N-best假设，生成最终翻译结果。
• 采用LLaMAAdapter进行LLMs的高效微调。
  

实验效果

在多个语音和机器翻译基准测试中，GenTranslate均显示出比现有最先进模型更好的性能。例如，在FLEURS、CoVoST-2、WMT等测试集上，GenTranslate的平均BLEU分数较基线模型有显著提升。具体数据如下：

• 在FLEURS X→En测试集上，GenTranslate的平均BLEU分数为34.6，而SeamlessM4T-Large为27.1，显示出3.0 BLEU的改进。
• 在CoVoST-2 X→En测试集上，GenTranslate的平均BLEU分数为41.7，而SeamlessM4T-Large为34.5，显示出7.2 BLEU的改进。
  

推荐阅读指数

★★★★☆

后记

如果您对我的博客内容感兴趣，欢迎三连击(点赞、收藏、关注和评论)，我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型，深度学习和计算机视觉相关方向)最新学术论文及工程实践方面的内容分享，助力您更快更准更系统地了解 AI前沿技术。