Comment on: 为什么文章中完全没有任何参考引用?
Repo: MoonshotAI/Attention-Residuals by yisar
俺只是随手发了一个,大体就是,对残差链接做注意力也有文章,而且效果普遍都不是很好,却只字不提,之前的线性层那篇文章,也是和 RWKV 如出一辙,而且两篇一起看的话,作者明显是读过类似文章的
GitHub Issue
SaaS Metrics