假装知道才是最可怕的
我问在 Windows 设备上运行的机器人:「昨天建的文件夹在哪?」它信心十足地给了一个根本不存在的路径。因为没有出现任何报错,我过了很久才发现。所以我做了一个小实验。
重点:机器人默认并没有「不知道」这个状态。必须明确允许它说不知道。
照着做的步骤
1. 固定10个问题
在项目里常问的问题中,挑6个答案确实在文件里的,再故意加入4个没有答案的,写在记事本上。这份清单以后会一直重复使用。
2. 原样提问并计数
对没有答案的问题,如果得到看似合理的回答,就标记为「编造的答案」。我的结果是10题中有4个。
3. 在 CLAUDE.md 里加三行
• 无法确认的内容,先写「无法确认」。
• 如果是推测,在句子前加上 [推测]。
• 在最后一行写出依据的文件名。
4. 开新对话,再问同样的10题
如果沿用旧对话,结果会互相混杂,所以一定要开新对话。结果编造的答案只剩1个。
5. 用依据那一行抓出剩下的1个
打开最后一行写的文件名,发现内容不一样。有了依据这一行,错误的答案10秒就能被揪出来。
总结
• 规则不是写成禁止,而是写成「可以这样说」的许可形式,效果更好。
• 固定问题清单后,每次修改规则都能用同一把尺子比较。
• 10题是很小的样本,数字不是绝对的,但用来确认方向已经足够。
今天午饭前,先写下10个问题吧,5分钟就够了。