DO U KNOW?

1.科学空间：

• 又是Dropout两次！这次它做到了有监督任务的SOTA

2.Transformer 20道问题

• Transformer的Encoder
• 原版Transformer的位置编码究竟有没有包含相对位置信息
• 相对位置编码
• NLP任务中，LayerNorm比BatchNorm好在哪里
• Decoder模块
• Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？

3.TENER

• TENER: Adapting Transformer Encoder for Named Entity Recognition
• (direction-aware, distance-aware and un-scaled attention)

$\ $

Question

1.原版Transformer中加入绝对位置编码，其中包含了相对位置信息，但经过线性变换后相对位置信息会消失，那么这是否是一个问题，还需要添加相对位置编码吗？

2.Beam Search的光束大小到底怎么影响最终结果？
（1）小的Beam_Size：无意义的、语法差的、重复的
（2）大的Beam_Size：正确的、连贯的、通用的但不太相关的