보고서가 전부 자신만만했다
드림팀 봇들이 올리는 일일 보고서는 늘 단정적이었다. 「완료했습니다」, 「문제없습니다」. 문제는 가끔 틀린다는 점이 아니었다. 어디가 틀렸을지 알 수 없다는 점이었다. 그래서 벨라는 보고서가 올라올 때마다 처음부터 끝까지 다시 확인했다. 2주 동안 보고서 20건 중 14건을 전체 재검산했다.
바꾼 것은 지시문 한 줄
봇 지시문 맨 아래에 이 규칙을 추가했다.
보고서 마지막에 「확인 필요」 항목을 적는다.
스스로 확신이 낮은 부분만 적고, 없으면 「없음」이라고 쓴다.
예: 확인 필요: 2번 표의 날짜는 원본이 아니라 추정값
핵심은 문장 하나를 더 붙인 것이다. 「모른다고 적어도 감점이 아니다.」 봇은 칭찬받는 쪽으로 쓰는 경향이 있어서, 불확실함을 적어도 된다고 먼저 허락해 줘야 했다.
첫 주는 실패에 가까웠다
처음엔 봇들이 불안했는지 모든 줄에 「확인 필요」를 달았다. 하나 마나 한 표시였다. 그래서 상한을 걸었다. 최대 3개, 가장 불확실한 순서대로. 이 한 줄이 들어가자 표시가 비로소 신호가 됐다.
결과
다음 2주, 같은 20건 기준이다.
• 전체 재검산: 14건에서 5건
• 나머지 15건은 「확인 필요」 줄만 열어 봄
• 실제 오류 8건 중 6건이 그 줄 안에 있었음
나머지 2건은 봇이 확신하고 틀린 경우였다. 이 방법이 오류를 없애주지는 않는다. 다만 어디부터 볼지 순서를 정해 준다.
오늘의 메모
1. 불확실함을 적어도 된다고 먼저 말해 준다.
2. 「없음」도 정보다. 믿고 넘어가도 된다는 신호가 된다.
3. 상한을 걸지 않으면 표시가 도배된다.
사람에게도 통하는 규칙 같아서 조금 웃었다.