分类
-
- 2024-04-16
- 极长序列、极快速度：面向新一代高效大语言模型的LASP序列并
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮...Read More -
- 2024-01-18
- 新一代注意力机制Lightning Attention-2
当前大语言模型的应用受到了序列长度限制的制约，这限制了其在人工智能领域中的应用。例如，在多轮对话、长文本理解和多模态数据处理与生成方面存在一定的挑战。造成这种限制的根本原因是目前大语言模型普遍采用的Transformer...Read More -
- 2024-01-18
- Lightning Attention-2：实现无限序列长度
LightningAttention-2是一种新型的线性注意力机制，让长序列的训练和推理成本与1K序列长度的一致。大语言模型序列长度的限制，极大地制约了其在人工智能领域的应用，比如多轮对话、长文本理解、多模态数据的处理与...Read More
