X 笔记
AIX 文章·

大模型支持 20 万 Token 却越聊越差?用上下文压缩解决衰减问题

主流大语言模型即使标称支持 20 万 Token,往往在序列达到一半长度时就会出现明显的处理能力下滑。单纯堆砌历史记录无法维持长任务的稳定性,必须依赖外层 Harness 架构进行工程化约束。通过将长效记忆卸载至外部文件并实施动态压缩,系统在逻辑上突破了物理窗口的限制。

注意力稀释与预训练短序列引发 Context Rot

主流模型在序列长度增长时普遍存在性能衰退现象。标称支持 20 万 Token 的模型,往往在达到一半长度时就会出现明显的处理能力下滑。

这种 Context Rot 主要源于两点:注意力机制随序列增加而稀释,以及预训练数据中短序列占比远高于长序列。在大模型无状态机制下,盲目堆砌提示词无法解决 Agent 系统的工程落地问题。


将长效记忆写入本地文件突破物理窗口

外层的 Harness 架构作为运行环境与控制系统,通过确定性的工程设计消除随机波动。它为底层计算核心提供了自动化执行、测试与自我纠错的闭环能力。

上下文工程的核心是用尽量少的 Token 提供高关联度信息。对于长期有效的人设与历史事实,系统不直接留在活跃的 context window 中。

系统将这类长效数据写入本地文件。后续交互涉及相关内容时,模型再通过检索工具将数据调入上下文,其余无关交互则不加载。


提炼输出摘要并归档实现 Token 波浪式回落

单次长任务的多轮交互中,工具执行返回的文档或搜索日志体积庞大。工具输出往往构成了长上下文的主要冗余。

系统提取这些输出的摘要或记录调用标记,替换原始长文本。完整的原始数据则持久化保存在文件中,保留后续按需反查的通道。

通过 Compaction 与 Summarization 的动态压缩机制,冗余信息被及时过滤。这使得上下文窗口的 Token 占用呈现波浪式回落。


多智能体分工实现上下文隔离与任务分派

在复杂任务编排上,多智能体分工机制承担了自然的上下文隔离作用。主 Agent 负责解析意图并将大任务拆解分派给子智能体。

子智能体各自在独立的上下文环境中调用工具完成执行。它们最终仅将结论汇总返回给主智能体,主智能体无需感知子任务内部产生的海量交互 Token。

不同任务节点还能根据需求分配适配的模型。系统可以根据具体任务类型,调度代码专用模型或轻量模型并行运转。


技能按需分层载入与高危操作分级拦截

面对多种外部技能,系统初始阶段仅向模型展示包含技能描述的精简摘要。直到模型明确触发具体指令后,才按层级载入完整的操作细节。

读取大型日志或外部文件时,系统通过关键词检索定向抽取片段。底层键值缓存对固定的 System prompt 与人设进行复用,减少重复输入带来的计算与延迟开销。

在执行安全层面,系统通过配置文件定义操作等级。只读等低风险动作允许自主执行,对于涉及 Edit 与删除等高风险操作则强制中断并引入人工确认。

涉及云端调用的敏感数据必须在本地完成脱敏。系统在底层模型自带机制之外设置输入与输出双重校验拦截,防止越权操作与违规内容输出。

0x小师妹
0x小师妹 @0xshimei

AI 工具实测与币圈观察,SANYUE.AI 创始人

在 X 上关注

相关笔记