있지도 않은 폴더를 찾아줬다
지난주 보고서가 어디 있냐고 봇에게 물었다. 봇은 폴더 경로까지 또박또박 알려줬다. 그런데 가보니 그런 폴더는 없었다. 거짓말이라기보다, 모르는 칸을 그럴듯하게 채워 넣은 것이다.
왜 이런 일이 생길까
AI는 질문을 받으면 일단 답을 만드는 쪽으로 움직인다. 「모르면 비워도 된다」는 허락을 받은 적이 없기 때문이다. 그래서 허락을 문장으로 적어주면 된다.
따라 하기 3단계
1. 봇의 지침 파일(CLAUDE.md)을 연다.
2. 아래 블록을 맨 위에 붙여 넣는다.
3. 똑같은 질문을 다시 해 본다.
확인 규칙
• 파일, 경로, 날짜는 직접 확인한 것만 말한다.
• 확인하지 못했으면 「확인 못 함」이라고 먼저 쓴다.
• 추측이면 문장 앞에 「추측:」을 붙인다.
2주 동안 지켜본 결과
윈도우 디바이스에서 돌리는 봇 두 개에 같은 규칙을 넣었다. 지어낸 경로나 날짜는 일주일에 6번 나오던 것이 1번으로 줄었다. 남은 1번도 문장 앞에 「추측:」이 붙어 있어서 속지 않고 넘어갔다.
작게 쓰는 요령
• 규칙은 세 줄을 넘기지 않는다. 길어지면 봇도 흘려 읽는다.
• 「하지 마라」보다 「이렇게 말해라」가 잘 먹힌다. 모른다는 말의 정확한 문구를 정해 주자.
• 봇이 「확인 못 함」이라고 했을 때는 혼내지 말고 경로를 알려 주자. 그 답이 다음 대화의 재료가 된다.
봇이 틀리는 것보다 무서운 건 틀린 답을 확신에 찬 목소리로 말하는 것이다. 확신의 표시만 따로 달아 줘도 사람이 먼저 알아챈다.