X 笔记
AIX 文章·

Claude Code 之父建议每六个月清空一次 CLAUDE.md?

Claude Code 负责人 Boris Cherny 在访谈里建议,大约每六个月把自己的 CLAUDE.md、Skills 和 Hooks 全部删掉一次。这个建议的重点不是让所有人都照做,而是借机清理那些会给新模型留下旧约束的提示词负债。

Claude Code 之父建议每六个月清空一次 CLAUDE.md?

核心观点:清空不是操作,是清理提示词负债

Claude Code 团队写好一套 system prompt 后不会永久沿用。每次新模型发布,他们都会大扫除一次,重新检查所有 prompt、tool 和 skill,确认哪些旧设定已经失效。

对上一代模型有效的设定,换到下一代可能就没用了。Boris 用 Unhobbling 来形容这个动作。Hobble 原意是绑住马的腿,Unhobbling 就是解开束缚,目标是移除限制模型发挥的脚镣,把原本被压住的潜力释放出来。

旧流程如何变成阻力

你写的 prompt 也可能反过来让模型显得没那么好用。

  • 以前 agent 读文件不可靠,你为它绕了一条路
  • 以前它总漏格式,你加了六道检查
  • 现在工具和能力都变强了,旧流程却还在

原本用来补强的补丁,反而成了拖慢它的阻力。

Boris 把它比作公司 SOP:新人寄错一次附件,主管就加一道审批;有人写错文件名,再加几道检查。几年后换了一个能力更强的员工,发一封邮件仍要过层层关卡。这时真正卡住他的是历史遗留流程,能力本身已经不是问题。

三类 instructions 该留、该测、千万别关

删掉旧规则,不代表把所有 prompt 都清空。Boris 建议用 ablation,也就是消融实验的思路:每次只拿掉一个变量,其他条件尽量保持不变,再比较结果变好、变差还是无影响。

1. 必要 context

模型不可能自己知道的背景信息。例如品牌定位、目标受众、项目数据放在哪里。这类设定一定要保留,因为无论模型多强,都不可能通灵你的个人信息。拿掉之后,模型不知道你是谁,也不知道该用什么数据完成任务。

2. workflow control

规定模型必须怎么做的流程控制。例如每一段都要先列三点、工具必须按固定顺序使用、把模型已经会做的动作写死。这类规则最可能是为旧模型留下的补丁,值得优先测试。

3. 安全与验收边界

哪些数据不能碰、什么操作必须人工确认、引用必须附上原始来源、满足什么条件才能发布。这些本来就不是用来提升模型智力的 prompt,不要为了精简就在真实工作环境中直接关掉。

某些和品质相关的问题可能因模型能力提升而消失,这类 instructions 才需要通过测试判断是否移除。

把“怎么做”换成“要做到什么”

删掉 workflow control 之后,换一种写法:

  • 不要写“每一步怎么做”
  • 要写“要达到什么、不能踩哪条线、做到什么程度算完成”

有人按这个思路清理自己的视频制作流程时,15 个文件删掉了两千五百多行,只加回三百多行。过程中模型几次触碰了明确禁止的边界,他花了两个完整工作日边测边补。但结果是上下文明显变短、token 更省,整条 workflow 的维护负担大幅下降,原本几百行的 skill 都压到了 100 行以内。

用 ablation 给 prompt 做减法

普通人不需要建立 Anthropic 那种大规模测试系统,三个步骤就够了。

Claude Code 之父建议每六个月清空一次 CLAUDE.md?

第一步:跑对照

挑几个最常做的任务或最常触发的 skill,用现有设定跑几次作为对照。记录:

  • 文笔是否通顺
  • 漏了哪些字段
  • 有没有严重错误
  • 人工要改几次
  • 从产出到人工调完总共花多少时间

第二步:干净环境删减

在一个干净的 session 或隔离测试环境里,把认为可以删的 workflow control 拿掉,但保留必要 context 和安全边界。用同样的任务、工具和评分方法再跑一遍。

因为模型输出带有随机性,旧设定和删减版都必须各跑几次。比较的是多次测试中的平均表现、失败率和稳定性,不要只挑各自最好的一次来比。

第三步:迭代补回

观察删减版在哪些地方反复出问题:

  • 它总忘检查文件,就把验收步骤补回去
  • 它老找不到资料,就把数据位置写清楚
  • 它总越过安全边界,就补回边界规则

反过来,如果某条规则拿掉后结果没变差甚至更好,就可以准备删除。只在特定任务里用得上的规则,适合放到更精确的专属 skill 下,不必塞进全局的 agent.md 或 claude.md 里。

验证才是最难的环节

这三个步骤能不能跑起来,关键看你能不能判断每一次结果算好还是算坏。Boris 在访谈里把这一点说得很重:大家花最多时间调 prompt,但问题更多出在验证环节。

你挑出来的测试任务,标准写得再漂亮也没用,关键是模型能不能自己检查:

  • 让它验证网页,它就得真的能打开网页
  • 让它测试通过,它就得真的能跑测试
  • 让它引用附来源,它就得真的能点开原始链接

如果一个标准模型验证不了,它就只是空话,最后还是要回到你身上做人工检查。品牌语气、论证质量这类主观项目,可以固定一套评分标准或直接交给人工复核。

要让验证有效,模型得先知道什么叫好。设定目标时,不要只描述“好”,还要指定它必须拿出什么证据证明自己达标,并要求它一直修到验证通过为止。

比如说明你要的是已经测试过、反复改过、完整检查过、明天就能上线的东西;原型或概念验证还不够。标准定在哪里,模型才知道什么时候可以停。

eval 也是消耗品

还有一件事容易被忽略:eval 本身也会过期。

直觉上我们会觉得 prompt 要一直改,但 eval 可以一直沿用。Boris 说,一份 eval 大概只能维持一到三个模型世代。因为模型进步太快,常常一份 eval 出来没多久,新模型就直接拿满分。一旦满分,这份考卷就再也分不出好坏,只能整份丢掉重新出。

连 Anthropic 自己的 eval 都是消耗品。所以当模型开始稳定拿满分时,别急着庆祝,先回头找它现在还卡在哪里,把那个地方作为新的一组测试任务。

__XPOSTER_rr0a0_IMAGE_2__

Claude Code 之父建议每六个月清空一次 CLAUDE.md?

最后

prompt 和 eval 都不是永久资产。模型更新时,你用来指导它和测量它的方法都得一起更新。

最后留下来的,应该是清晰的目标、必要的 context、验收方式、可查证结果的方法,以及经过反复测试、确实能修错的少数关键规则。让每条控制模型行为的规则背后都有明确测试证据支持,才能用最小的 prompt 发挥模型最大潜力。

在 X 上看原帖并评论1,579 次浏览 · 19 赞
0x小师妹
0x小师妹 @0xshimei

AI 工具实测与币圈观察,SANYUE.AI 创始人

在 X 上关注

相关笔记