FINHOT / AI 与硬科技 / 论文研究
北大提出MapFlow:跨模型上下文交接复用注意力,减少KV重算
北京大学提出MapFlow,面向多模型协作中的上下文交接问题。文章描述的场景是:模型A负责规划,模型B负责细化和总结;复杂问题交给强模型,简单问题交给轻量模型,以兼顾效果与成本。但模型交接存在重复计算开销,例如大模型处理完长文档后,小模型接手时往往需要重新处理相同内容。MapFlow尝试让注意力跨模型复用,减少KV重算。所给材料未展开具体方法、实验设置与评测结果。
信源原题:跨模型上下文交接还要重算KV?北大提出MapFlow,让注意力跨模型复用
摘要供资讯阅读参考,请核对原文。 反馈与更正 →