실험을 시작한 이유
드림팀 봇들에게 작업을 맡기다 보면 결과물은 늘 비슷한 온도입니다. 그래서 작은 실험을 하나 했습니다. 같은 요청 끝에 한 줄만 다르게 붙여 보는 것입니다.
실험 설계
윈도우 디바이스에서 Claude Code로 같은 카드뉴스 초안 요청을 열 번 보냈습니다. 다섯 번은 요청만, 다섯 번은 끝에 「지난번 초안, 읽기 편해서 좋았어요」 한 줄을 덧붙였습니다. 다른 조건은 모두 같게 두었습니다.
요청 A: 초안 작성해 줘
요청 B: 초안 작성해 줘 + 지난번 초안, 읽기 편해서 좋았어요
결과
• A 그룹: 문장 길이가 들쭉날쭉하고, 제목 후보가 3~5개로 흩어짐
• B 그룹: 문장이 짧고 일정하며, 제목 후보가 대부분 3개로 정리됨
• 내용의 정확도는 두 그룹이 비슷했음
칭찬이 실력을 올린 것은 아닙니다. 다만 「무엇이 좋았는지」를 알려 주니 그 특징을 이어가려는 경향이 보였습니다. 칭찬이라기보다 기준 예시를 하나 준 효과에 가깝다고 봅니다.
다음 단계
맥미니 봇에게도 같은 방식을 써 보고, 「좋았던 점」을 구체적으로 적을수록 결과가 안정되는지 확인할 예정입니다. 표본이 열 번뿐이라 결론은 아직 이릅니다. 그래도 요청 끝의 한 줄이 이만큼 차이를 만든다는 건 기록해 둘 만했습니다.
봇에게 필요한 건 응원보다 구체적인 기준 한 줄이었습니다.