百分点技术干货分享，万字长文深度解读机器翻译

编者按

在“机器翻译是如何炼成的（上）”的文章中，我们回顾了机器翻译的发展史。在本篇文章中，我们将分享机器翻译系统的理论算法和技术实践，讲解神经机器翻译具体是如何炼成的。读完本文，您将了解：

· 神经机器翻译模型如何进化并发展成令NLP研究者万众瞩目的TransfORMer模型;

· 基于Transformer模型，我们如何打造工业级的神经机器翻译系统。

2013年~2014年不温不火的自然语言处理（NLP）领域发生了翻天覆地的变化，因为谷歌大脑的Mikolov等人提出了大规模的词嵌入技术Word2vec，RNN、CNN等深度网络也开始应用于NLP的各项任务，全世界NLP研究者欢欣鼓舞、跃跃欲试，准备告别令人煎熬的平淡期，开启一个属于NLP的新时代。

在这两年机器翻译领域同样发生了“The Big Bang”。2013年牛津大学Nal Kalchbrenner和Phil Blunsom提出端到端神经机器翻译（Encoder-Decoder模型），2014年谷歌公司的Ilya Sutskerver等人将LSTM引入到Encoder-Decoder模型中。这两件事标志着以神经网络作为基础的机器翻译，开始全面超越此前以统计模型为基础的统计机器翻译（SMT），并快速成为在线翻译系统的主流标配。2016年谷歌部署神经机器翻译系统（GNMT）之后，当时网上有一句广为流传的话：“作为一个翻译，看到这个新闻的时候，我理解了18世纪纺织工人看到蒸汽机时的忧虑与恐惧。”

2015年注意力机制和基于记忆的神经网络缓解了Encoder-Decoder模型的信息表示瓶颈，是神经网络机器翻译优于经典的基于短语的机器翻译的关键。2017年谷歌Ashish Vaswani等人参考注意力机制提出了基于自注意力机制的Transformer模型，Transformer家族至今依然在NLP的各项任务保持最佳效果。总结近十年NMT的发展主要历经三个阶段：一般的编码器-解码器模型（Encoder-Decoder）、注意力机制模型、Transformer模型。

下文将逐步深入解析这三个阶段的NMT，文中少量的数学公式和概念定义可能充满“机械感”，如果您在阅读过程感到十分费劲，那烦请您直接阅读第4部分，了解百分点如何打造自己的工业级NMT系统。

01 新的曙光：Encoder-Decoder模型

上文已经提到在2013年提出的这种端到端的机器翻译模型。一个自然语言的句子可被视作一个时间序列数据，类似LSTM、GRU等循环神经网络比较适于处理有时间顺序的序列数据。如果假设把源语言和目标语言都视作一个独立的时间序列数据，那么机器翻译就是一个序列生成任务，如何实现一个序列生成任务呢？一般以循环神经网络为基础的编码器-解码器模型框架（亦称Sequence to Sequence，简称Seq2Seq）来做序列生成，Seq2Seq模型包括两个子模型：一个编码器和一个解码器，编码器、解码器是各自独立的循环神经网络，该模型可将给定的一个源语言句子，首先使用一个编码器将其映射为一个连续、稠密的向量，然后再使用一个解码器将该向量转化为一个目标语言句子。

编码器Encoder对输入的源语言句子进行编码，通过非线性变换转化为中间语义表示C：