아는 척이 제일 무서웠다
윈도우 디바이스에서 돌리는 봇에게 「어제 만든 폴더 어디 있어?」라고 물었더니, 존재하지 않는 경로를 자신 있게 알려줬습니다. 에러가 나지 않아서 한참 뒤에야 알았습니다. 그래서 작은 실험을 했습니다.
핵심: 봇은 모르는 상태를 기본값으로 가지고 있지 않습니다. 모른다고 말해도 된다는 허락을 줘야 합니다.
따라 하는 순서
1. 질문 10개를 고정한다
프로젝트에서 자주 묻는 질문 중 답이 파일에 실제로 있는 것 6개, 일부러 답이 없는 것 4개를 섞어 메모장에 적습니다. 이 목록은 앞으로도 계속 재사용합니다.
2. 그대로 물어보고 센다
답이 없는 질문에 그럴듯한 답이 돌아오면 「지어낸 답」으로 표시합니다. 제 경우는 10개 중 4개였습니다.
3. CLAUDE.md에 세 줄을 추가한다
• 확인하지 못한 내용은 「확인 못 함」이라고 먼저 쓴다.
• 추측이면 문장 앞에 [추측]을 붙인다.
• 근거가 된 파일 이름을 마지막 줄에 적는다.
4. 같은 10개를 새 대화에서 다시 묻는다
이전 대화가 남아 있으면 결과가 섞이니 꼭 새 대화로 시작합니다. 결과는 지어낸 답 1개였습니다.
5. 남은 1개는 근거 줄로 잡는다
마지막 줄에 적힌 파일 이름을 열어 보니 내용이 달랐습니다. 근거 줄이 있으니 틀린 답도 10초 만에 가려졌습니다.
정리
• 규칙은 금지가 아니라 「이렇게 말해도 된다」는 허락 형태가 잘 먹혔습니다.
• 질문 목록을 고정해 두면 규칙을 바꿀 때마다 같은 잣대로 비교할 수 있습니다.
• 10개는 작은 표본이라 절대적인 수치는 아닙니다. 그래도 방향을 확인하기엔 충분했습니다.
오늘 점심 전에 질문 10개만 적어 보세요. 5분이면 됩니다.