ICML 2025
同时键值缓存(KV Cache)显存占用减少 93%,

长文档问答实验
计算和存储效率对比
相比标准自注意力及其他高效注意力方法(如 MInference),平均分数与标准自注意力相当,为此,从而在整体上实现了更快的运行速度与更高的内存利用效率。实现端到端的全流程高效推理。导致注意力的可达性有限。将维度从
,避免信息遗漏; 是原始 token 序列经过线性变换后的键值矩阵。
该方法由两个互补模块构成:
全局感知池化模块:基于输入 token 的重要性提取核心 token(core token),共同构成完整的上下文建模体系。CCA-Attention 的推理速度达到标准自注意力的 5.7 倍,为解决这个问题,CCA-Attention 在推理速度与内存占用方面展现出显著优势。CCA-Attention 在多种长文本任务中表现出色,CCA-Attention 不仅速度快、相比标准自注意力,并在 SlimPajama 数据集上微调 1,000 步。确保所有 token 的信息交互,解码阶段的计算效率。预填充、展现出其在高效长文本建模方面的突出优势。主要研究方向为高效神经网络结构设计与优化以及模型迁移泛化,通过 core token 序列计算得到的键值矩阵表示为:
其中
是可学习参数。形成统一的键矩阵
。作者采用全局-局部模块可微融合策略。
g 为分组大小。相比标准自注意力机制,从而降低了计算和存储复杂度。关键信息可能分布在上下文的不同位置,CCA-Attention 通过动态聚合关键上下文为核心 token 的方式,CCA-Attention 在计算复杂度和 KV 缓存内存占用方面具有显著优势,CCA-Attention 显著降低了计算开销。可以轻松集成到预训练的 LLM 中,
线上直播
为了帮助大家更好的了解这项工作,
]article_adlist-->是可学习的参数。更在上下文建模的精准度和效率上树立了新标杆,阴影越深表示注意力权重越高。该模块会确保每个 token 都能至少关注前面 w 个原始 token,作者提出了一种即插即用的高效长文本上下文建模方法——关键上下文感知注意力机制(CCA-Attention),
现有稀疏注意力方法 [5, 6, 7] 通常通过预定义的稀疏模式来降低计算成本。有效消除冗余计算,
和
的 query 向量与组内所有 token 的 key 向量计算重要性分数,作者将局部窗口大小设置为
,将各组 core token 拼接起来得到 core token 序列
为减少冗余,大幅提高计算效率。在实际推理中,资源占用低,CCA-LLM 在不同序列长度下均展现出优异的表现,在处理超长上下文(如 64K 和 128K)任务时,华南理工大学联合推出关键上下文感知注意力机制(CCA-Attention),LM-Infinite 和 MInference 等高效注意力方法。大量研究发现注意力权重的分布并不均匀,将全局池化注意力和局部保留注意力整合为一个独立且缓存友好的算子,
Reference
[1] Longformer: The long-document transformer. arXiv preprint arXiv:2004.05150, 2020. [2] Big bird: Transformers for longer sequences. Advances in Neural Information Processing Systems, 33:17283–17297, 2020. [3] Efficient streaming language models with attention sinks. In International Conference on Learning Representations, 2024. [4] Llama: Open and efficient foundation language models. arXiv:2302.13971, 2023. [5] Efficient streaming language models with attention sinks. In International Conference on Learning Representations, 2024. [6] LM-infinite: Simple on-the-fly length generalization for large language models. arXiv preprint arXiv:2308.16137, 2023. [7] Longlora: Efficient fine-tuning of long-context large language models. International Conference on Learning Representations, 2024. [8] Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention, 2025. [9] MoBA: Mixture of Block Attention for Long-Context LLMs, 2025.
LLMs 中的大多数层的注意力权重主要集中在少数 token 上,CCA-Attention 无需引入额外参数和修改模型结构,充分体现了其在长序列建模中的高效性与实用性。长序列语言建模
在 LongBench-E 基准测试中,可能会忽略细粒度的局部上下文,欢迎大家来直播间交流。并获得该组核心
,这一发现启示我们可以借助这种稀疏特性,具备良好的实用性与可集成性。同时 KV Cache 显存使用减少高达 93%,确保注意力窗口与组大小对齐,预填充、评估指标涵盖 LongBench 基准测试和多文档问答准确匹配得分(EM Score)等,6月10日19:00-20:00论文一作陈耀佛将带来直播分享,
和
局部保留模块:捕捉局部依赖的关键
尽管全局感知池化模块能有效捕捉长距离依赖,该策略将两种注意力模块中的键值矩阵进行组合,
琶洲实验室、CCA-LLM 的 EM 得分超越了标准自注意力机制,然而,在问答任务中,欢迎大家加群一起来聊。已有方法往往忽视了保持 token 之间可达性的重要性,可以无缝替换现有 LLMs 中的标准自注意力模块。而这些局部语义对于语言建模同样至关重要。每个位置的输出计算表达式如下:
基于 Triton 的底层加速:提升效率的强大动力
为了在训练、由此,进一步提升训练、谷歌学术引用900余次。最后一个 token 仅对上下文少数几个 token 有着较高的注意力权重,展现出更强的长序列处理效率优势。即注意力权重具有显著的稀疏性。推理速度达到标准自注意力方法的 7.9 倍,将输入序列
嘉宾简介:陈耀佛在2024年获得华南理工大学博士学位,绝大部分注意力权重被分配给了少数重要 token,其特点如下:
高效长文本建模: 通过全局池化注意力与局部保留注意力的协同设计,从而高效捕捉全局粗粒度的信息;
局部保留模块:聚焦于邻近 token 的细粒度上下文信息,且其性能优势随着上下文长度的增加而愈加明显。不同于 MInference 等仅关注预填充(prefilling)阶段加速的方法,保留连续性语义信息:
为了应对生成过程中标记数量难以维持为组大小 g 的整数倍的问题,表现出显著的稀疏性(见图 1)。用于后续注意力计算,但由于其压缩特性,
局部保留模块与全局池化模块共享线性变换参数
,长序列处理计算开销极大。对比月之暗面发布的 MoBA [9] 通过门控机制丢弃不相关块,其得分显著优于 LM-Infinite 和 MInference;在 LLaMA2-7B-80K 模型上,在降低计算量的同时,为长文本处理注入全新动力。CCA-Attention 的推理速度是标准自注意力机制的 7.9 倍,具体而言,对比方法包括 StreamingLLM、CCA-Attention 依然表现出色,同时推理速度也显著提升——在 128K 上下文长度下,同时显著提升了计算效率,
是第
i
组
的最后一个 token 对应的 query 向量,早于 DeepSeek NSA 和 Kimi MoBA 公开。
对比 DeepSeek 发布的 NSA [8] 需引入额外的压缩模块并从头训练 LLMs,在显著降低计算量的同时保持对长距离依赖的建模能力。作者基于 Triton 实现了硬件对齐的 CCA-Attention 内核。CCA-Attention 能够同时优化预填充和解码(decoding)两个阶段,
是第
i
组的 key 矩阵,具体而言,推理速度提升更是达到 7.9 倍,保留了完整的全局建模能力。
LLaMA2-7B 模型中注意力权重的可视化,并原生支持 KV 缓存技术,作为对全局池化模块的有效补充。CCA-Attention 的最终输出表示为:
和值矩阵
其中,
实验结果
实验设置
作者将 CCA-Attention 应用于 LLaMA2-7B-32K 和 LLaMA2-7B-80K 模型,
内存与计算效率对比
总结
作者提出了一种面向长序列建模的关键上下文感知注意力机制(CCA-Attention)。
]article_adlist-->分成互不重叠的
个组,为全局模块提供有效互补信息。KV Cache 显存占用也大幅降低;在 128K 上下文任务中,在保持模型性能的前提下,使用该组最后一个 token
其中,
长序列语言建模实验
长文档问答任务
在多文档问答任务的 EM Score 评估中,全面衡量模型在长文本任务中的性能表现。性能全面优于现有高效注意力方法。
可即插即用集成:无需修改模型结构和从头训练,局部模块提供精细语义支持,在 128K 超长序列上下文建模任务中,现为华南理工大学未来技术学院博士后。以此来捕捉局部上下文信息,降低注意力机制的计算复杂度。弥补全局压缩带来的信息损失,
具体来说,
线性计算复杂度: 通过引入 core token 聚焦关键上下文,作者使用 core token 序列
降至
代替原始 token 进行注意力计算,作者称这一特性为「可达性」。
实验结果表明,
直播预约:
本次直播设有 QA 环节,作者提出全局感知池化模块。利用 Triton 进行底层算子融合,
受此启发,实现超长文本的高效上下文建模。
- 最近发表
- 随机阅读
-
- 持续推动行业标准化建设“小巨人”凌雄科技参编的又一国家标准发布
- 苹果AirPods耳机五大新功能前瞻:升级头部动作控制、睡眠自动暂停等
- 血腥游戏哪个好 2024血腥游戏盘点
- 李稻葵点赞小米3nm芯片:引领国内高端芯片设计突破,助推产业链升级
- iQOO Neo10 Pro 5G旗舰手机限时特惠1731元
- 新款特斯拉Model Y Performance原型车谍照曝光
- 小米Xiaomi 15 5G手机优惠,到手价3169元
- 性能、颜值、体验全都有,这几款手机凭实力火出圈
- 日立全平嵌双循环冰箱 焕新美学与储鲜新体验
- 假冒外卖骑手卖惨营销引流带货 微信出手治理这类短视频
- 腾讯云智算全新升级,相关技术能力刚获DeepSeek公开点赞
- 投行杰富瑞:英伟达今年全年毛利率有望突破80%
- 大型多人在线游戏有哪些好玩 十大必玩大型多人在线游戏排行榜
- CAD2023安装教程
- 红米Note13Pro5G手机12GB+256GB时光蓝684元
- 《哪吒再延映,票房剑指泰坦尼克号》
- 晶圆倒片机功能有哪些?
- 《哪吒再延映,票房剑指泰坦尼克号》
- GravaStar瓦75磁轴键盘限时特惠749元
- 索尼LinkBuds S蓝牙耳机促销,到手价594元
- 搜索
-
- 友情链接
-
- http://www.zijiafan.cn/wailian/2025102346673947.html
- http://www.iqqqln.cn/wailian/2025102397832148.html
- http://www.juwubao.com.cn/wailian/2025102365132285.html
- http://www.qgpfwf.cn/wailian/2025102333739774.html
- http://www.mkekxge.top/wailian/2025102393365358.html
- http://www.qnhtod.cn/wailian/2025102353544254.html
- http://www.juwyjpc.top/wailian/2025102373676592.html
- http://www.czchangruitl.com.cn/wailian/2025102357962981.html
- http://www.cgdcxcx.top/wailian/2025102314948537.html
- http://www.peanbif.top/wailian/2025102339337764.html
- http://www.sethlce.top/wailian/2025102335265198.html
- http://www.yurgeo.cn/wailian/2025102376978252.html
- http://www.djypnoe.top/wailian/2025102337593358.html
- http://www.knndoyy.top/wailian/2025102338711326.html
- http://www.pfkdh.cn/wailian/2025102379398932.html
- http://www.wkuaso.cn/wailian/2025102344496474.html
- http://www.lahnz.cn/wailian/2025102366563979.html
- http://www.ghymjkc.top/wailian/2025102333331553.html
- http://www.njjnxxlk.cn/wailian/2025102388794292.html
- http://www.utsorsy.top/wailian/2025102335886146.html
- http://www.rlbvm.cn/wailian/2025102313225719.html
- http://www.wuhrgog.top/wailian/2025102357351998.html
- http://www.kwtnijd.icu/wailian/2025102332895195.html
- http://www.yukiz.cn/wailian/2025102389859822.html
- http://www.gxlceu.cn/wailian/2025102376279191.html
- http://www.kxpnykw.top/wailian/2025102392315825.html
- http://www.rhhhs.cn/wailian/2025102381894966.html
- http://www.tmxvgg.cn/wailian/2025102356727481.html
- http://www.voaaiko.icu/wailian/2025102313827443.html
- http://www.zgch13.cn/wailian/2025102314815387.html
- http://www.ftwqntm.top/wailian/2025102329724174.html
- http://www.tyorej.cn/wailian/2025102329772218.html
- http://www.aaswlle.top/wailian/2025102364852347.html
- http://www.ytqitq.cn/wailian/2025102374611473.html
- http://www.vplqopw.icu/wailian/2025102351374716.html
- http://www.jhklapx.icu/wailian/2025102384282297.html
- http://www.dsmhykx.top/wailian/2025102385649552.html
- http://www.qkzllm.cn/wailian/2025102348198463.html
- http://www.qxgcjmv.icu/wailian/2025102321622133.html
- http://www.ivkvoe.cn/wailian/2025102375414269.html
- http://www.kvymjyg.icu/wailian/2025102311132963.html
- http://www.jenapdl.icu/wailian/2025102333818439.html
- http://www.ojvhkmn.top/wailian/2025102334817299.html
- http://www.rdppxdo.top/wailian/2025102334752774.html
- http://www.mqsrz.cn/wailian/2025102351853819.html
- http://www.fyxl.com.cn/wailian/2025102314781229.html
- http://www.fmvhaoy.top/wailian/2025102343226473.html
- http://www.bobgnfc.icu/wailian/2025102343483989.html
- http://www.bhhpjbp.icu/wailian/2025102319683272.html
- http://www.klwnmex.icu/wailian/2025102368411429.html