分类目录归档：自然语言处理(NLP)
上两篇Attention机制详解（一）——Seq2Seq中的Attention， Attention机制详解（二）——Self-Attention与Transformer主要回顾了Attention与RNN结合在机器翻译中的原理以及self-attention模型，这一篇准备分类整理一下Attention模型的各种应用场景，主要参考资料为谷歌研究组和Yoshua Bengio组的论文。
之前已经见过Attention模型对于机器翻译（Attention is All you need）有非常很好的效果，那么在自然语言处理方面Attention模型还有哪些其他应用呢？我们通过总结以
上一篇Attention机制详解（一）——Seq2Seq中的Attention回顾了早期Attention机制与RNN结合在机器翻译中的效果，RNN由于其顺序结构训练速度常常受到限制，既然Attention模型本身可以看到全局的信息， 那么一个自然的疑问是我们能不能去掉RNN结构，仅仅依赖于Attention模型呢，这样我们可以使训练并行化，同时拥有全局信息？ 这一篇就主要根据谷歌的这篇Attention is All you need论文来回顾一下仅依赖于Attention机制的Transformer架构，并结合Tensor2Tensor源代码进行解释。
先来看一个翻
Attention模型在机器学习领域越来越得到广泛的应用，准备写一个关于Attention模型的专题，主要分为三个部分：（一）在Seq2Seq 问题中RNN与Attention的结合。 （二）抛除RNN的Self-Attention模型以及谷歌的Transformer架构。 （三）Attention及Transformer在自然语言处理及图像处理等方面的应用。主要参考资料是Yoshua Bengio组的论文、谷歌研究组的论文及Tensor2Tensor的官方文档、斯坦福自然语言处理相关部分讲义等。 这一篇先来介绍早期的在Machine Translation(机器翻译）中Attention机制