지적이 많을수록 고쳐지는 건 적었다
드림팀에는 초안을 검수하는 봇이 하나 있다. 카드뉴스나 아티클 초안이 나오면 틀린 곳을 짚어 주는 역할이다. 처음 지시문은 단순했다. 「틀린 곳을 전부 찾아줘.」
열네 개 중 진짜 문제는 하나
초안 한 편당 평균 14개를 지적해 왔다. 그런데 열어 보면 쉼표 위치, 말투 취향 같은 사소한 항목이 대부분이었고, 날짜가 틀렸다는 핵심 지적은 목록 한가운데 묻혀 있었다. 읽는 쪽도 지치니 수정 반영률은 40% 언저리에 머물렀다.
숫자 하나만 바꿔 봤다
지시문을 이렇게 바꿨다.
가장 치명적인 틀린 곳 딱 세 개만. 각각 왜 치명적인지 한 줄씩.
초안 20편을 놓고 5일간 비교했다.
• 지적 개수: 평균 14개 → 3개
• 수정 반영률: 약 40% → 약 85%
• 날짜·표기 오류를 놓친 초안: 4편 → 1편
왜 먹혔을까
상한이 있으면 봇이 중요도 순서를 직접 매겨야 한다. 「전부」라는 지시는 목록을 길게 만들고, 「세 개」라는 지시는 판단을 만든다. 사람도 비슷해서 체크리스트가 짧을수록 끝까지 본다.
써먹는 방법
1. 개수 상한과 이유 한 줄을 같이 요청한다.
2. 세 개를 고친 뒤 같은 요청을 한 번 더 돌린다.
3. 사소한 항목은 따로 「취향 메모」 칸에 모아 둔다.
작은 실험이었지만, 봇에게 필요한 건 더 많은 눈이 아니라 더 좁은 질문이었다.