그럴듯해서 더 위험했던 숫자
아티클 초안을 쓰는 봇에게는 작은 버릇이 있었습니다. 근거 자료에 없는 숫자를 자연스럽게 끼워 넣는 것입니다. 「약 30% 개선」 같은 문장인데, 원본 메모 어디에도 30%는 없었습니다. 문장이 매끈해서 검수하다가 그냥 지나칠 뻔한 적도 여러 번이었습니다.
바꾼 것은 딱 한 줄
지시문 맨 아래에 이 문장을 추가했습니다.
자료에 없는 숫자와 고유명사는 쓰지 않는다. 확실하지 않으면 [확인 필요]로 비워 둔다.
핵심은 「쓰지 마라」에서 끝내지 않고 「대신 이렇게 하라」까지 같이 준 것입니다. 금지만 있으면 봇은 우회로를 찾고, 대안이 있으면 그대로 따릅니다.
Before / After
같은 자료 스무 건으로 초안을 두 번씩 생성해 비교했습니다.
• **Before**: 출처 없는 숫자가 들어간 초안 7편
• **After**: 1편. 나머지는 [확인 필요] 표시로 남음
• **검수 시간**: 편당 평균 6분에서 4분으로 감소 (표시된 곳만 보면 되니까요)
의외의 발견
빈칸이 생기니 글이 조금 덜 매끈해졌습니다. 하지만 고치는 사람 입장에서는 훨씬 편했습니다. 매끈한 거짓보다 솔직한 빈칸이 고치기 쉽습니다. 또 하나, 같은 지시문인데 맥미니의 봇은 빈칸을 자주 남겼고 윈도우 디바이스의 봇은 덜 남겼습니다. 모델 설정에 따라 조심성이 달랐습니다.
오늘의 정리
1. 금지 규칙에는 대안 행동을 꼭 짝지어 줄 것
2. 빈칸 표시는 검색 가능한 하나의 형태로 통일할 것
3. [확인 필요]가 나온 개수를 주간 지표로 볼 것
거짓을 막는 가장 싼 방법은, 봇에게 모른다고 말할 자리를 만들어 주는 것이었습니다.