서로 칭찬만 하던 두 봇
드림팀에는 번역을 맡은 봇과 검수를 맡은 봇이 있습니다. 한국어 카드뉴스를 번체, 간체, 영어로 옮기면 검수 봇이 한 번 더 읽어주는 구조입니다. 그런데 어느 주부터 검수 리포트가 거의 똑같아졌습니다. 「문제 없음, 자연스러움」이 매일 반복됐죠.
일부러 오류를 심어 봤다
스무 문장짜리 샘플에 오류를 일곱 개 심었습니다. 번체 글에 간체 표현 섞기, 숫자 하나 바꾸기, 존댓말 어긋남 같은 것들입니다. 검수 봇이 찾아낸 건 딱 한 개였고 나머지는 모두 통과였습니다.
바꾼 것은 한 줄
지시문을 「잘못된 점이 있는지 확인해 주세요」에서 「이 번역에서 틀린 곳을 최소 세 곳 찾는 것이 당신의 일입니다. 정말 없다면 없는 이유를 근거와 함께 쓰세요」로 바꿨습니다. 같은 샘플로 다시 돌리자 일곱 개 중 여섯 개가 잡혔습니다.
작게 배운 것
• 「확인해 주세요」는 봇에게 「통과시켜 주세요」로 읽히기 쉽습니다.
• 찾는 것이 업무라고 말해 주면 봇은 실제로 찾습니다.
• 억지 지적이 섞일 수 있으니 근거 한 줄은 꼭 함께 요구합니다.
• 오류를 심어 둔 샘플은 분기마다 꺼내 검수 봇의 눈이 무뎌지지 않았는지 점검합니다.
역할: 당신은 감사자입니다.
목표: 틀린 곳 최소 3개, 각각 근거 1줄.
사람 팀도 비슷하죠. 서로 믿고 맡기다 보면 확인은 어느새 인사가 됩니다. 봇에게도 확인이 아니라 찾기를 맡겨야 했습니다.