Meta研发闽南语AI翻译系统，开创非书面语言翻译新方法

<span style="letter-spacing: 1px;font-size: 14px;color: rgb(178, 178, 178);">视频 | 闽南语翻译模型视频演示（来源：<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size:14px;">Meta</a>）</span></p><p style="line-height: 2em;margin-bottom: 0px;margin-left: 8px;margin-right: 8px;"><span style="color: rgb(89, 89, 89);font-size: 16px;letter-spacing: 1px;"><br/></span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 对外表示：“口头交流可以帮助打破人与人之间的隔阂，也有助于人们在元宇宙（Metaverse）中交流。”该公司当前正在全力发展元宇宙业务，甚至在 2021 年 11 月将公司名字由 <a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=27768" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size:16px;">Facebook</a> 改为 <a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a>。如果元宇宙要取得成功，需要实现更加身临其境和自然的体验。</span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">据了解，开发闽南语翻译系统的一个重要前提是，需要有足够的数据。如今的机器翻译模型大都需要海量的书面文本来做训练。而闽南语的文本资源较少，在收集和注释数据方面存在不足。</span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">因此，研究者决定利用高资源语言的数据来解决这一问题。他们选择使用普通话作为中介，即将闽南语转为普通话后，再译成相应的另一语言。该方法极大提高了模型的性能。</span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">另外，<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 还采用了一种语音挖掘的训练数据生成方法，借助预训练的语音编码器，将闽南语和其他语言嵌入到同一语义空间中。这样，即使闽南语没有文字形式，其也能和英语或语义相似的文本对应。</span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">值得一提的是，<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 还为非书面语言翻译开发了一种新的建模方法。</span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">据了解，目前的语音翻译模型开发，大都需要借助转录或语音生成文本系统。但由于口头语言缺少规范的文字，因此，<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 将重点放在了语音到语音的翻译上。</span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">研究人员使用“语音到单元的转换”（Speech-to-Unit Translation，S2UT）方法，把输入的语音变成许多声学单元。然后，再让声学单元产生波形。此外，他们还采用双通道解码机制，分别用来生成单元和以相关语言（普通话）生成文本。</span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></p><section style="text-align: justify;margin-bottom: 0px;margin-left: 8px;margin-right: 8px;line-height: 2em;"><img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.5627466456195738" data-s="300,640" src="https://zfz-oss.oss-cn-hangzhou.aliyuncs.com/temp/32cb67c76775fa7d54113cc137920a10.png" data-type="png" data-w="1267" style=""/></section><section style="text-align: justify;margin-bottom: 0px;margin-left: 8px;margin-right: 8px;line-height: 2em;"><span style="text-align: justify;font-size: 14px;color: rgb(178, 178, 178);letter-spacing: 1px;">（来源：<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 14px;letter-spacing: 1px;white-space: normal;">Meta</a>）</span></section><section style="text-align: justify;margin-bottom: 0px;margin-left: 8px;margin-right: 8px;line-height: 2em;"><span style="text-align: justify;font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></section><section style="text-align: justify;margin-bottom: 0px;margin-left: 8px;margin-right: 8px;line-height: 2em;"><span style="font-size: 16px;text-align: justify;color: rgb(89, 89, 89);letter-spacing: 1px;">接着，<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 对闽南语翻译系统的准确性做了评估。一般来说，语音翻译系统的评估采用的是 ASR-BLEU 指标。该指标指的是，用自动语音识（ASR Automatic Speech Recognition）将翻译的语音转换成文本，再对比转换文本与人工翻译文本，从而计算 BLEU 分数。BLEU 全称为 Bilingual evaluation understudy（双语评价替补），是一种标准的机器翻译指标。</span></section><section style="text-align: justify;margin-bottom: 0px;margin-left: 8px;margin-right: 8px;line-height: 2em;"><span style="text-align: justify;font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></section><section style="text-align: justify;margin-bottom: 0px;margin-left: 8px;margin-right: 8px;line-height: 2em;"><span style="font-size: 16px;text-align: justify;color: rgb(89, 89, 89);letter-spacing: 1px;">但对于闽南语等口语语音翻译模型，ASR-BLEU 指标评估的准确性仍有不足。为此，研究者将闽南语转换成了一种规范的注音符号。这种方式体现的是音节水平上的 BLEU 分数，而且该评估方法也能很方便地比较各模型的翻译质量。</span></section><section style="text-align: justify;margin-bottom: 0px;margin-left: 8px;margin-right: 8px;line-height: 2em;"><span style="font-size: 16px;text-align: justify;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></section><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">值得一提的是，除开发新的模型翻译评价方法，<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 还设立了闽南语-英语转换的首个基准数据集，且将其进行了开源，并鼓励他人继续在闽南语翻译上开展工作，以使该领域能持续取得进展。</span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">据了解，<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 的闽南语翻译模型仍处在进一步开发完善阶段，当前一次还只能翻译一句话。</span></p><section style="margin-bottom: 0px;text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;"><br/></section><section style="text-align: justify;margin-bottom: 0px;margin-left: 8px;margin-right: 8px;line-height: 2em;"><img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.5625" data-s="300,640" src="https://zfz-oss.oss-cn-hangzhou.aliyuncs.com/temp/1d26699901e98565b860631d1f1e0e47.png" data-type="png" data-w="3840" style=""/></section><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="letter-spacing: 1px;font-size: 14px;color: rgb(178, 178, 178);">（来源：<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 14px;letter-spacing: 1px;white-space: normal;">Meta</a>）</span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="letter-spacing: 1px;font-size: 14px;color: rgb(178, 178, 178);"><br/></span></p><section style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">值得一提的是，<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 在官方博文中提到，他们在闽南语方面的研究，能够对其他口头语言和书面语言提供帮助。</span></section><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">同时，该公司还开放了闽南语翻译模式、评估数据集和研究论文，以方便他人复制和建立工作。10 月 19 日，相关论文以《一种现实世界的不成文语言的语音到语音的翻译》（<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/literature-detail/index?id=20242" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size:16px;">Speech-to-speech translation for a real-world unwritten language</a>）为题，发表在 <a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 官网上。</span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></p><section style="margin-bottom: 0px;text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">此外，<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 正在准备发布一个语音对语音翻译语料库，并将之命名为 SpeechMatrix。该语料库使用 <a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 的数据挖掘技术 LASER（Language-Agnostic SEntence Representations，语言-不可知句子表征），这可让人们创建个人的语音到语音翻译系统。</span></section><section style="margin-bottom: 0px;text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;"><br/></section><section style="margin-bottom: 0px;text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;"><img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.5627466456195738" data-s="300,640" src="https://zfz-oss.oss-cn-hangzhou.aliyuncs.com/temp/4f181f580111b044a9782c30696598bc.png" data-type="png" data-w="1267" style="text-align: center;"/></section><section style="margin-bottom: 0px;text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;"><span style="font-size: 14px;color: rgb(178, 178, 178);letter-spacing: 1px;">（来源：<a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 14px;letter-spacing: 1px;white-space: normal;">Meta</a>）</span></section><section style="margin-bottom: 0px;text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;"><br/></section><section style="margin-bottom: 0px;text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 在无监督语音识别和无监督机器翻译领域的进展，将助力更多口语语言的翻译工作。它表明即使没有人工注释，仍能成功开发高水平的语音到语音翻译模型，尤其是在低资源语言方面。</span></section><section style="margin-bottom: 0px;text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;"><br/></section><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">另据悉，闽南语翻译模型属于 <a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 的通用语音翻译器（UST，Universal Speech Translator）项目。能够用任何语言轻松地与人交谈是一个长期追求的梦想。UST 致力于通过开发新的 AI 方</span><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">法，最终让所有语言实现语音到语音的实时翻译。</span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;"><br/></span></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><span style="font-size: 16px;color: rgb(89, 89, 89);letter-spacing: 1px;">总体来看，本次研究使 <a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size:16px;">Meta</a> 的目标离实现又近一步。但 <a class="weapp_text_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/company-detail/index?id=28911" data-miniprogram-servicetype="" data-miniprogram-type="text" href="" style="font-size: 16px;letter-spacing: 1px;white-space: normal;">Meta</a> 在丰富 UST 支持的语言数量方面，仍有大量工作需要做。未来的一个重大挑战，可能在于足够多样化的训练数据合规收集。</span></p><section style="margin-bottom: 0px;text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;"><br/></section><section style="text-align: justify;margin-bottom: 0px;margin-left: 8px;margin-right: 8px;line-height: 2em;"><img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.35" data-s="300,640" src="https://zfz-oss.oss-cn-hangzhou.aliyuncs.com/temp/20ecb543826b63616c338c3952bd7a46.jpeg" data-type="jpeg" data-w="900" style=""/></section><section style="text-align: justify;margin-bottom: 0px;margin-left: 8px;margin-right: 8px;line-height: 2em;"><br/></section><section style="margin-bottom: 0px;text-align: justify;margin-left: 8px;margin-right: 8px;line-height: normal;"><span style="text-align: start;caret-color: rgb(0, 0, 0);color: rgb(178, 178, 178);font-size: 12px;letter-spacing: normal;">参考资料：</span></section><section style="margin-bottom: 0px;text-align: justify;margin-left: 8px;margin-right: 8px;line-height: normal;"><span style="color: rgb(178, 178, 178);font-size: 12px;letter-spacing: normal;">https://ai.facebook.com/blog/ai-translation-hokkien/</span></section><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><br/></p><p style="text-align: justify;margin-left: 8px;margin-right: 8px;line-height: 2em;margin-bottom: 0px;"><a class="weapp_image_link js_weapp_entry" data-miniprogram-appid="wx99cc64e6169731cc" data-miniprogram-nickname="络绎科学" data-miniprogram-path="pages/index/index" data-miniprogram-servicetype="" data-miniprogram-type="image" href=""><img class="rich_pages wxw-img" data-ratio="0.4" data-s="300,640" src="https://zfz-oss.oss-cn-hangzhou.aliyuncs.com/temp/366435e5bcd97a6c99f31f1bcb95eca2.jpeg" data-w="900" style=""/></a></p><p style="display: none;"><mp-style-type data-value="3"/></p></div>