FinHotFINHOT / AI 与硬科技 / 论文研究
下一代语言模型架构综述发布：LSTM之父领衔，KAUST、港大、华为等共同发布
机器之心报道，KAUST、香港大学、华为等机构共同发布下一代语言模型架构领域综述，由LSTM之父领衔。文章指出，Scaling up是大模型近年的标志，但作为其计算基础的模型架构也在持续演进，涉及GQA、MLA、稀疏注意力、Mamba、Gated DeltaNet等线性注意力网络，以及DeepSeek的细粒度MoE等方向。
信源原题：下一代语言模型架构走向何方？LSTM之父领衔，KAUST、港大、华为等共同发布领域全面综述
摘要供资讯阅读参考，请核对原文。 反馈与更正 →