钓鱼网站网址大全网站设计的内容有哪些
文章目录
- 输入
 - 输出
 - 运行
 - 如何运行
 - 解决关联性
 - attention score
 - 额外的
 - Q K V
 
- Multi-head self-attention
 - Positional Encoding
 - Truncated Self-attention
 - 影像处理
 - vs CNN
 - vs RNN
 - 图上的应用
 
输入

输出

运行

 链接(Attention Is All You Need)
如何运行

解决关联性

attention score
也可以不用softmax,relu也行。
 
额外的

Q K V

 
 
 
Multi-head self-attention

 
Positional Encoding

 https://arxiv.org/abs/2003.09229

Truncated Self-attention
只看一个小范围。
 
影像处理

vs CNN

 
vs RNN

图上的应用

