论文来了。名字叫 MSA，Memory Sparse Attention。
一句话说清楚它是什么：
让大模型原生拥有超长记忆。不是外挂检索，不是暴力扩窗口，而是把「记忆」直接长进了注意力机制里，端到端训练。
过去的方案为什么不行？
RAG
From X
Disclaimer: The above content reflects only the author's opinion and does not represent any stance of CoinNX, nor does it constitute any investment advice related to CoinNX.