Comment on: 請問有實現的程式碼嗎?

> 親愛的研究團隊 您好: > > 非常感謝您的研究，拜讀完您的論文後，我有一個小小的疑問: > > 於論文中，我有看到關於Block Attention Residuals的虛擬碼，但好像沒Full Attention Residuals的虛擬碼 > > 雖然理論上Full Attention Residuals照著公式實現應該就好，但我想確認一下是否實現正確 > > 所以想請問能提供您們實驗的code嗎? > > 再次感謝您的貢獻，期待您的回覆 > > 祝 研究順利 I've implemented one based on Megatron-LM, with llama3 dense arch pretrained 1k steps, see https://github.com/Smu-Tan/Megatron-LM