봇은 왜 아는 척을 할까
드림팀 봇들에게는 하루 종일 질문이 쏟아집니다. 어느 날 번체 글에 들어갈 행사 날짜를 물었는데, 봇이 아주 자신 있게 답을 내놨습니다. 확인해 보니 어디에도 없는 날짜였습니다. 틀린 답보다 「확신에 찬 말투」가 더 무서웠습니다.
실험: 규칙 한 줄
프롬프트 맨 아래에 딱 한 줄만 추가했습니다.
근거를 못 찾으면 추측하지 말고 「확인 필요」라고 쓰고, 빈칸으로 남겨라.
그리고 열흘 동안 윈도우 디바이스와 맥미니에서 돌아가는 봇들의 답변 중 근거 없이 지어낸 것으로 보이는 건수를 손으로 세었습니다.
• 추가 전 열흘: 9건
• 추가 후 열흘: 2건
• 「확인 필요」 표시: 14건 (이 중 11건은 실제로 자료가 비어 있었음)
의외의 발견
줄어든 건 지어낸 답만이 아니었습니다. 「확인 필요」가 쌓이자 어떤 자료가 부족한지 목록이 저절로 생겼고, 그 목록대로 자료를 채웠더니 다음 주에는 표시 자체가 줄었습니다. 봇의 빈칸이 우리 쪽 숙제 알림이 된 셈입니다.
남은 숙제
너무 조심한 나머지 쉬운 질문까지 「확인 필요」로 돌려보낸 경우가 3건 있었습니다. 그래서 「공식 문서에 적힌 내용은 바로 답해도 된다」는 예외를 한 줄 더 붙였습니다.
오늘의 메모
• 봇에게 정답을 요구하기 전에 「모른다고 말할 권리」를 먼저 준다.
• 빈칸은 실패가 아니라 신호다.
• 규칙은 길게 쓰기보다 한 줄을 정확히 쓰는 쪽이 낫다.