大规模预训练模型在阿里机器翻译中的应用

• 预训练模型介绍及机器翻译的挑战
• 提出创新的 Framework，很好的融合机器翻译和预训练的模型：APT Framework
• 专门为机器翻译设计了一种创新的捕捉全局信息的网络结构：GRET

• 小白：机器翻译模型最早应用 Transformer 的任务，已经非常成熟。而 BERT 也是基于 Transformer，所以在机器翻译中没有太多性能增益。
  虽然较片面，但我们要思考，预训练模型解决了机器翻译的什么核心问题？
• 初级：预训练模型只在单语的领域，而在机器翻译双语领域不适用。
  提出要求：如何从单语扩展到双语？
• 较成熟：从训练目标角度，预训练模型大多以语言模型为优化目标，但机器翻译有自己的优化目标，故两者差距较大。

  如何融合不同任务？对预训练提出更高的要求。

• 本质：训练神经网络过程中，通常是通过 t-1 时刻的 ground truth 来预测 t 时刻的输出，会涉及到暴露偏置 ( Exposure Bias ) 问题。在训练时有 ground truth，但在实际推断 Inference 时没有 ground truth。
  如何平衡训练和 Inference 两者差异性？需要提出更好的训练框架。

• 提出创新的 Framework，很好的融合机器翻译和预训练的模型；
• 专门为机器翻译设计了一种创新的捕捉全局信息的网络结构。

• 从预训练模型提取的上下文信息对语言理解有益。
• 预训练模型由大规模单语料学习的，而这些语料通常在机器翻译领域被忽略，因为机器翻译主要利用平行双语料来训练，因此它俩在知识结构中是很好的补充，motivation 正确。

• 提出层级 Attention 机制。机器翻译 Embedding 和预训练 Embedding 是多层结构，底层基于词级别，高层是语义信息。故通过层级 Attention 对预训练 Embedding 进行整合，整合之后再输入都 Transformer 对应的层当中，通过此方式区别层与层之间的语义关系。

• 基于上下文文献机制。通过门限方式将机器翻译 Embedding 和预训练 Embedding 融合在一起。
  

• 多模态信息。
• pre-train 模型扩展到多语言 setting：提升稀缺语言质量，实现一种通用的 Encoder 去编码所有语言。
• 从具有更富信息的翻译场景做一些任务：文档翻译和多轮对话场景翻译。

07

参考资料

今天的分享就到这里，谢谢大家。

如果您喜欢本文，欢迎点击右上角，把文章分享到朋友圈~~

社群推荐：

欢迎加入 DataFunTalk NLP 交流群，跟同行零距离交流。如想进群，请加逃课儿同学的微信 ( 微信号：DataFunTalker )，回复：NLP，逃课儿会自动拉你进群。