X 笔记
AIX 文章·

为什么 AI 读长文档老翻车?把好这三关,便宜模型也能答对

你是不是也试过把几十年的会议记录或整本产品手册直接丢给 AI,结果它要么直接弹出红色警告提示文件超出长度限制,要么就开始一本正经地编造? 大模型单次能处理的信息量有限,新提一个问题就得从头重读,不仅慢而且费用极高。 掌握“先查资料再回答”的整理技巧,不用花大钱换模型,也能让 AI 照着小抄精准答对。



为什么资料一长,AI 就开始胡乱编造?

把长文档直接拖进对话框,往往会卡在三个现实门槛上。 大模型单次能处理的内容容量有限,稍微完整些的历史资料动辄几百万字,根本塞不进去。 而且大模型在原理上不具备跨会话的记忆能力,每次收到新提问必须重新读完整份文件,每次提新问题都得把文档从头到尾重读一遍,不仅极慢,花费也极高。

人在查资料时不会这么做。 你想确认 巴菲特 对护城河的看法,不会把六十年的股东信从头啃到尾,而是先查索引翻出相关段落。

为什么 AI 读长文档老翻车?把好这三关,便宜模型也能答对

让大模型照着人类的习惯来工作,核心逻辑只有六个字:先查资料,再回答。 它的核心只有三步:先把资料库建好目录把相关段落找出来,再剔除无关干扰拼成一份精准小抄,最后让大模型看着小抄写出答案。 平时遇到模型答非所问,问题多半出在做小抄的前两步。


长资料塞给 AI 前,怎么拆分才不会断章取义?

大模型后期找不到答案,九成以上的原因都在原始文本本身。 原始文件充满乱码、页眉页脚与格式乱码、页眉页脚、会议转录里的寒暄笑声以及口语里大量的无意义语气词,这些杂音会白白挤占宝贵空间。 成熟的做法是先自动过滤掉这些杂质,再把模糊的代词还原,比如把“那家公司”直接替换成明确的 可口可乐。

把清洗后的长文本拆成便于查找的独立卡片,这一步叫做 切块。 如果按每 五百字 强行硬切,极容易把上下文拦腰切断,导致后半段缺少主语而搜不出来。 更好的策略是按自然结构切:有小标题的文章就按标题切,会议记录就以整轮问答为单位切,确保卡片意思独立完整。

切完之后,还要在每张卡片后附上属性标签。 模型对概念很敏感,却对时间非常迟钝,问它 2020 年之后 的事情,很可能翻出 1980 年代的段落交差。 打上年份、出处等标签后,系统能先锁死时间范围,再在限定区域里找内容。


怎样搜才能既抓到专有名词又懂真实意思?

用户提出问题后,系统去几万张卡片里查找资料,通常依靠两种手段。 第一种是传统的 关键词匹配,找特定人名或股票代号极其准确,但完全不懂同义词。 第二种是按意思搜,哪怕不用一模一样的词,只要意思相近,你搜“护城河”它也能把写着“长期的竞争优势”的卡片挑出来。

不过按意思搜太擅长抓大意,容易忽略掉具体的人名或专有名词。 比如询问收购 喜诗糖果 的原因,系统可能捞出一堆讲品牌定价权的分析,模型便会把分析可口可乐的逻辑强行套过来。

为什么 AI 读长文档老翻车?把好这三关,便宜模型也能答对

成熟的做法是把关键词搜索和理解意思结合起来搜。 一路专门抓专有名词,另一路去抓概念大意,再把两路结果合并在一起,挑出二十张左右相关的备选卡片。


送到模型眼前的“小抄”,要做哪些精简?

粗捞出来的候选卡片不能全部塞给大模型,混进半相关干扰会让模型开始胡说八道。 在递交前,把挑出来的卡片跟用户的问题仔细比对,只挑出匹配度最高的 三到五张 递给模型。 这几张高质量卡片连同标签、用户问题以及“未提及直接说不知道”的要求,共同拼成一份干净小抄。

在这个最后环节,把控好两点就能大幅提升回答质量:

  1. 模型选择:做资料问答不需要使用价格最昂贵的模型,普通大模型配上干净小抄,响应极快且成本很低。
  2. 减少发挥:让模型优先挑选最确定的词语,避免为了自由发挥而瞎编。

答案出错了,顺着哪四步排查最管用?

即使按这套方法做完后大模型依然答错,也不要盲目更换更贵的大模型。 比如资料里写的是 1972 年 收购,模型却回答了 1980 年代,顺着找资料的各个环节排查即可:

  1. 先看资料源头:记录关键年份的段落是否在切块时被切成了两半,源头信息残缺就必须把事实完整包在同一张卡片里。
  2. 再看检索阶段:初次筛选是否漏掉了关键卡片,可以通过扩大初步查找的范围来解决。
  3. 接着看筛选小抄:关键卡片是不是在挑前几名时被挤掉了,可以把递给模型的小抄内容稍微多放两三段。
  4. 最后才看大模型:如果完整事实已经摆在小抄第一行,大模型依然看漏,先在提示词里要求引用原文,依然答错才考虑换理解力更强的模型。

现实里绝大多数回答翻车,都发生在生成答案之前的资料准备与检索筛选阶段。 与其把几十页未整理的内容扔进对话框碰运气,不如先花点时间清理掉无关段落,用带标题的文本把核心事实交待清楚。 控制好递给大模型的信息质量,它的回答通常非常准确。

0x小师妹
0x小师妹 @0xshimei

AI 工具实测与币圈观察,SANYUE.AI 创始人

在 X 上关注

相关笔记