至今为止，AI 翻译主要著重于各种书写语言，但在全球超过 7,000 种的现存语言中，将近半数主要是以口语表达，而没有标准或广泛使用的书写文字系统。这导致无法使用标准技术为这类语言打造机器翻译工具，因为标准技术需有大量的书写文字来训练AI模型。为克服这项挑战，Meta为主要以口语表达的「闽南语」打造了一个史无前例的人工智慧技术翻译系统。
该开放原始码的翻译系统是 Meta Universal Speech Translator（UST，或译：通用语音翻译工具）专案的一部分，该专案致力于开发新的 AI 方法，希望最终能为所有现存语言进行即时语音翻译，包括主要以口语表达的语言。Meta相信口语沟通有助于打破隔阂，拉近人们之间的距离，无论身在何处，甚至在元宇宙中也不例外。
为开发这个只有语音的全新翻译系统，Meta AI 研究人员必须克服许多来自传统机器翻译系统的挑战，包括资料搜集、模型设计，以及准确度评估。在将 UST 扩展至更多语言之前，还有很多工作要做。但能够轻松地与使用任何语言的人们沟通的能力，是Meta长久以来追寻的梦想，因此Meta很高兴能向这个目标更迈进了一步。
Meta不只会开放闽南语翻译模型的原始码，也会公开评估资料集和研究报告，让他人能够重制并以我们的工作成果为基础建立模型。 Meta著手打造闽南语翻译系统时，面临的一个重大障碍就是是否能够搜集到足够的资料。闽南语是所谓的资源匮乏语言，这意味著与西班牙文或英文等语言相比，该语言尚未有足够的训练资料。此外，将英语翻译成闽南语的翻译人员相对来说很少，因此更难以搜集资料并加上注解来训练模型。
Meta利用中文作为中间语言，以建立伪标签和人工翻译，意思是我们先将英语（或闽南语）语音翻译成中文文字，接著再翻译成闽南语（或英语），然后新增至训练资料中。此方法利用了资源充足的相似语言的资料，借此大幅改善了模型成效。
另一个产生训练资料的作法是语音探勘。Meta使用预先训练好的语音编码器，便能透过编码方式将闽南语语音嵌入内容加入到其他语言的相同语意空间中，而无须取得闽南语的书写文字。闽南语语音可以和拥有相似语意嵌入内容的英语语音和文字配对。
接著从文字来合成英文语音，产生平行的闽南语和英语语音。 许多语音翻译系统依赖转译内容，或依赖语音转文字系统。但由于主要以口语表达的语言并没有标准书写文字形式，因此Meta就无法将翻译的文字制作成翻译内容输出。因此，Meta聚焦于语音转语音翻译。
Meta使用语音转单元翻译（speech-to-unit translation，S2UT）系统，直接在先前由Meta开创的路径中，将输入的语音翻译成一系列声学单元，然后从这些单元中生成波形。此外，我们针对二次解码机制采用UnitY，让第一阶段的解码器产生相关语言（中文）的文字，然后让第二阶段的解码器制作单元。
语音翻译系统通常会使用称为ASR-BLEU 的衡量指标来评估，首先需使用自动语音识别系统（ASR）将翻译后的语音转译成文字，然后将转译后的文字与人工翻译的文字比较，以计算BLEU分数（标准机器翻译衡量指标）。但评估主要以口语表达的语言（例如闽南语）时，评估语音翻译的挑战之一就是没有标准的书写文字系统。为启动自动评估程序，Meta开发了称为 Tâi-lô 的系统，将闽南语语音转译成标准化的拼音符号。这项技术让我们能以音节为单位计算 BLEU 分数，并能够很容易地比较不同方法下的翻译品质。
除了开发方法以评估闽南语与英语语音翻译的准确度，也根据名为Taiwanese Across Taiwan的闽南语语音语料库，建立第一个闽南语与英语双向的语音翻译基准资料集。Meta将开放此基准资料集的原始码，以鼓励其他研究人员合作进行闽南语语音翻译，并一同在该领域中取得进一步进展。
展望翻译的未来，在目前的阶段中，Meta的作法能够让使用闽南语的人士与使用英语的人士对话。虽然该模型仍在开发中，而且每次只能翻译一个完整句子，但已朝著未来实现为各种语言提供同步翻译的目标迈开一步。 Meta首创用于闽南语的各项技术，可以扩展至许多其他有书写系统和无书写系统的语言。
为此，Meta将发布 SpeechMatrix（暂译语音矩阵），这是由 Meta 的创新资料探勘技术支援的大型语音翻译语料库，称为 LASER，能让研究人员建立自己的语音翻译（S2ST）系统，并以Meta的工作成果为基础，展开研究及开发工作。
最新、最好看的娱乐新闻都在《壹苹娱乐》脸书粉丝专页。
★快点加入《壹苹》Line，和我们做好友！
★FB按赞追踪《壹苹新闻网》各大脸书粉丝团，即时新闻到你手，不漏任何重要新闻！
