DO U KNOW?

1.文章：
ICCV2021 iRPE-微软&中山大学提出超强的图片位置编码
论文：
Rethinking and Improving Relative Position Encoding for Vision Transformer
代码：
iRPE

2.文章：
更深和更宽的Transformer，那个比较好？NUS团队给出了给出“Go Wider Instead of Deeper”的结论
论文：
Go Wider Instead of Deeper

3.co-adapting问题
co-adapting是指神经网络中的一种依赖关系，比如下一层很依赖上一层的某个特定通道，例如上一层一共有64个通道，但是一家独大，1个通道的数值特别大，而其他通道的数值特别小，这样通道之间就会出现一种不平衡性。
论文阅读《Reflash Dropout in Image Super-Resolution》
Reflash Dropout in Image Super-Resolution

4.一个漂亮的主页
Andrew Zeng

5.Visualiza Attention in NLP Models，可视化 Multi-Head Self-Attention
BertViz