DO U KNOW?

1.pytorch中的register_buffer()的用法

• https://blog.csdn.net/weixin_46197934/article/details/119518497

2.Transformer中encoder和decoder的mask的作用？
（1）encoder中，去除各种padding的影响（为了一个mini-batch中句子长度统一，补齐padding）
（2）decoder中，将encoder的最终输出当作decoder的输入，mask当前预测词以及后续预测的部分，防止信息泄露（有个问题，双向解码的时候，信息会泄露？但不影响？）

• https://blog.csdn.net/weixin_42253689/article/details/113838263

3.github中，fork别人项目后，如何与他项目保持同步更新

• https://blog.csdn.net/wuzhongqiang/article/details/103227170

4.Ranking Loss（多模态检索）
Siamese网络和Triplet网络

• https://zhuanlan.zhihu.com/p/158853633

5.ExpansionNet，ExpansionNet V2
扩展机制（Expansion Machanism）

• https://zhuanlan.zhihu.com/p/567034420
• https://github.com/jchenghu/ExpansionNet_v2

6.line_profiler
python 性能分析

• https://zhuanlan.zhihu.com/p/88193562

7.策略梯度算法

• https://zhuanlan.zhihu.com/p/459827715

8.VITALAB（读文献）

• https://vitalab.github.io/categories/

9.Focal Loss

• https://zhuanlan.zhihu.com/p/82148525
• https://zhuanlan.zhihu.com/p/562641889

10.RoPE
RoFormer

• https://arxiv.org/pdf/2104.09864.pdf

旋转位置编码

• https://github.com/JunnYu/RoFormer_pytorch

Transformer位置编码

• https://cloud.tencent.com/developer/article/1867524?from=article.detail.1868249
• https://zhuanlan.zhihu.com/p/105493618
• https://zhuanlan.zhihu.com/p/415020704（六种位置编码的代码实现及性能实验）
• https://spaces.ac.cn/archives/8130

11.线性Transformer
ReFormer

• https://arxiv.org/pdf/2001.04451.pdf

12.Transformer的low rank bottleneck问题？

• Multi-branch Self-attention

13.IC困难样本挖掘

• hard example mining

14.科学空间

• 突破瓶颈，打造更强大的Transformer
• 相对位置编码Transformer的一个理论缺陷与对策
• 从SamplePairing到mixup：神奇的正则项
• 将“softmax+交叉熵”推广到多标签分类问题1