神经机器翻译前沿进展课件.pptx

1、神经机器翻译前沿进展机器翻译 目标：利用计算机实现自然语言的自动翻译2布什与沙龙举行了会谈BushheldatalkwithSharon发展历史 趋势：让机器更“自主”地学习如何翻译3规则机器翻译统计机器翻译神经机器翻译198019902013数据驱动机器翻译1990数据驱动的机器翻译 核心问题：如何为翻译过程建立概率模型？4布什与沙龙举行了会谈BushheldatalkwithSharon统计机器翻译 隐变量对数线性模型：在隐式语言结构上设计特征5布什与沙龙举行了会谈BushheldatalkwithSharon(Och and Ney,2002)基于短语的统计机器翻译 短语翻译模型：以隐结

2、构短语为基本翻译单元6布什与沙龙举行了会谈布什与 沙龙举行 了 会谈Bushwith Sharonheld a talkBushwith Sharonheld a talkBushheldatalkwithSharon(Koehn et al.,2003)统计机器翻译的优缺点 优点 隐结构可解释性高 利用局部特征和动态规划处理指数级结构空间 缺点 线性模型难以处理高维空间中线性不可分的情况 需要人类专家设计隐式结构及相应的翻译过程 需要人类专家设计特征 离散表示带来严重的数据稀疏问题 难以处理长距离依赖7难点：长距离调序8BushPresidentheldatalkwithIsraeliPri

3、meMinisterSharonattheWhiteHouse如何用上述词语拼成合理的译文？统计机器翻译示例9深度学习带来新思路10Yann LeCunYoshua BengioGeoffrey Hinton(LeCun et al,2015)机器翻译方法对比11英国爱丁堡大学在WMT英德评测数据上的BLEU值。NMT 2015年结果来自蒙特利尔大学。来源：Rico Sennrich报告和斯坦福ACL 2016 Tutorial。神经机器翻译 利用神经网络实现自然语言的映射12布什与沙龙举行了会谈BushheldatalkwithSharon(Sutskever et al,2014)编码器-

4、解码器框架 利用递归神经网络实现源语言的编码和目标语言的解码13布什与沙龙举行了会谈BushheldatalkwithSharon(Sutskever et al.,2014)递归神经网络的优缺点 优点 适合处理变长线性序列 理论上能够利用无限长的历史信息 缺点“梯度消失”或“梯度爆炸”14(Pascanu et al.,2013)长短时记忆 通过门阀技术缓解“梯度消失”和“梯度爆炸”15(Hochreiter and Schmidhuber,1997)神经网络学到了什么？16(Sutskever et al.,2014)编码器-解码器架构的优缺点 优点：利用长短时记忆处理长距离依赖 缺点：任

5、意长度的句子都编码为固定维度的向量17(Sutskever et al.,2014)基于注意力的神经机器翻译 利用注意力机制动态计算源语言端相关上下文18(Bahdanau et al.,2015)布什与沙龙举行了会谈BushheldatalkwithSharon注意力 思想：集中关注影响当前词的上下文19(Cheng et al.,2016a)神经机器翻译中的注意力 源语言词语目标语言词的关联强度20(Bahdanau et al.,2015;Cheng et al.,2016b)注意力机制提升长句翻译效果21(Bahdanau et al.,2015)RNNenc:固定源语言上下文，RNN

6、search:动态源语言上下文注意力机制的其他应用 注意力机制已成为深度学习的主流技术22(Xu et al.,2015)“看图说话”：为图片自动生成文本描述近期研究进展 神经机器翻译在近两年取得飞速发展 受限词汇量(Luong et al.,2015a;Jean et al.,2015)细粒度意义单元(Chung et al.,2016;Sennrich et al.,2016a)先验约束(Tu et al.,2016;Cohn et al.,2016)记忆机制(Wang et al.,2016;Tang et al.,2016)训练准则(Shen et al.,2016;Ranzato e

7、t al.,2016)单语数据利用(Cheng et al.,2016c;Sennrich et al.,2016b)多语言(Dong et al.,2015;Zoph and Knight,2016)多模态(Duong et al.,2016;Hitschler et al.,2016)23进展1：受限词汇量 受计算复杂度限制，仅能使用有限的词汇量24(Luong et al.,2015a;Jean et al.,2015;Li et al.,2016)在后处理阶段单独翻译未登录词进展2：细粒度意义单元 以细粒度意义单元取代词，降低词汇量25(Luong and Manning,2016;C

8、hung et al.,2016;Sennrich et al.,2016a)字母与词语的混合模型，词语模型解决常用词翻译，字母模型解决生僻词翻译进展3：先验约束 利用先验知识约束神经机器翻译26(Tu et al.,2016;Cohn et al.,2016;Cheng et al.,2016b;Shi et al.,2016)很多 机场 都 被迫 关闭 了 Many airports were closed to close Many airports were forced to close down输入不考虑覆盖度考虑覆盖度先验：不应重复翻译，也不应漏翻进展4：记忆机制 利用记忆机制提

9、高神经机器翻译27(Wang et al.,2016;Tang et al.,2016)将“外存”引入神经机器翻译进展5：训练准则 提出更好的准则，提高与评价的相关性28(Shen et al.,2016;Rezanto et al.,2016)训练数据训练目标优化最小风险训练：针对评价指标训练神经网络进展6：单语数据利用 利用海量的单语语料库提高神经机器翻译29(Cheng et al.,2016c;Sennrich et al.,2016b)利用自动编码器实现半监督学习进展7：多语言 利用向量空间贯通多种自然语言30(Dong et al.,2015;Zoph and Knight,201

10、6;Firat et al.,2016)多种语言共享源语言编码器进展8：多模态 利用向量空间贯通文本、语音和图像31(Duong et al.,2016;Hitschler et al.,2016)不经过语音识别，直接将源语言语音翻译成目标语言文本神经机器翻译教程和开源工具 教程 Neural Machine Translation,ACL 2016 Tutorials Introduction to NMT with GPUs,Kyunghyun Cho 开源工具 GroundHog：加拿大蒙特利尔大学 Blocks：加拿大蒙特利尔大学 TensorFlow：Google EUREKA-MangoNMT：中国科学院自动化研究所32统计机器翻译 Vs 神经机器翻译33统计机器翻译神经机器翻译表示离散连续模型线性非线性训练MERTMLE/MRT可解释性高低训练复杂度低高处理全局调序句法门阀、注意力内存需求高低神经机器翻译面临的挑战34如何设计表达能力更强的模型？如何提高语言学方面的可解释性？如何降低训练复杂度？如何与先验知识相结合？如何实现多模态翻译？总结 神经机器翻译：通过神经网络直接实现自然语言的相互映射。神经机器翻译近年来取得迅速发展，有望取代统计机器翻译成为新的主流技术。神经机器翻译在架构、可解释性、训练算法等方面仍面临挑战，需要进一步深入探索。35谢谢！36