大模型的核心任务不是辨别真假、检索事实,而是根据上文,算出语境里概率最高的下一个字词,本质是语言接龙机器,不是百科数据库。
它不会像人一样调取一条标准答案核对对错,只会模仿全网文本的语序、句式、行文习惯。
通顺流畅>内容属实,一旦两者冲突,AI永远优先保证句子读起来合理,哪怕内容完全编造。
比如你问冷门论文、小众人名、具体年份数据,它搜不到确定信息,就会自动拼凑一段格式工整、语气笃定的文字补齐答案。
训练时AI是照着标准答案续写;但实际回答时,它用自己上一句生成的内容当作下文依据,也就是暴露偏差。
只要开头某一个词、一个数据错了,后续所有内容都会顺着错误上下文继续延伸,越编越具体,错误层层叠加,整篇回答看起来逻辑闭环,实则完全脱离事实。