假裝知道才是最可怕的
我問在 Windows 設備上運行的機器人:「昨天建的資料夾在哪?」它信心十足地給了一個根本不存在的路徑。因為沒有出現任何錯誤,我過了很久才發現。所以我做了一個小實驗。
重點:機器人預設並沒有「不知道」這個狀態。必須明確允許它說不知道。
照著做的步驟
1. 固定10個問題
在專案裡常問的問題中,挑6個答案真的在檔案裡的,再故意加入4個沒有答案的,寫在記事本上。這份清單之後會一直重複使用。
2. 原樣提問並計數
對沒有答案的問題,如果得到看似合理的回答,就標記為「編造的答案」。我的結果是10題中有4個。
3. 在 CLAUDE.md 加三行
• 無法確認的內容,先寫「無法確認」。
• 如果是推測,在句子前加上 [推測]。
• 在最後一行寫出依據的檔案名稱。
4. 開新對話,再問同樣的10題
如果沿用舊對話,結果會互相混雜,所以一定要開新對話。結果編造的答案只剩1個。
5. 用依據那一行抓出剩下的1個
打開最後一行寫的檔案名稱,發現內容不一樣。有了依據這一行,錯誤的答案10秒就能被揪出來。
整理
• 規則不是寫成禁止,而是寫成「可以這樣說」的許可形式,效果比較好。
• 固定問題清單後,每次修改規則都能用同一把尺比較。
• 10題是很小的樣本,數字不是絕對的,但用來確認方向已經足夠。
今天午餐前,先寫下10個問題吧,5分鐘就夠了。