검수 봇이 일주일 내내 「통과」만 말했다
드림팀에는 글을 마지막에 확인하는 검수 봇이 있다. 어느 금요일, 지난 17건의 검수 결과를 열어 보니 전부 「통과」였다. 사람이 읽으면 어색한 문장이 몇 개 섞여 있었는데도 말이다.
원인은 체크리스트가 너무 착했던 것
당시 지침은 「문장이 자연스러운가」「용어가 일관된가」 같은 질문 형태였다. 질문에는 「네」가 가장 쉬운 답이다. 봇은 성실했지만 판단 기준이 없었고, 그래서 늘 후하게 채점했다.
통과율 100%는 좋은 소식이 아니라 점검하라는 신호다.
고친 것은 딱 두 가지
기준을 열 개로 늘리지 않았다. 불합격 예시를 하나만 붙였다.
불합격 예: 「영상을 업로드하세요」가 번체 글에 그대로 들어간 경우
이유: 대만 독자는 影片이라고 부른다
그리고 한 줄을 더했다. 「문제를 최소 한 가지 찾고, 정말 없다면 없다고 판단한 근거를 쓸 것.」
4주 비교 (작은 실험)
| 항목 | 변경 전 | 변경 후 |
|---|---|---|
| 주당 지적 건수 | 2건 | 9건 |
| 발행 후 독자 수정 요청 | 주 5건 | 주 2건 |
지적이 늘어서 처음엔 수정 작업이 귀찮았다. 하지만 발행 뒤에 고치는 것보다 발행 전에 고치는 쪽이 훨씬 쌌다.
오늘의 메모
• 「괜찮은가?」보다 「어디가 안 괜찮은가?」라고 묻기
• 규칙 열 개보다 나쁜 예 하나가 더 잘 먹힌다
• 봇이 착하다고 느껴지면, 질문을 다시 읽어 볼 것