아침의 글과 밤의 글
오늘 아침 9시, 드림팀 봇 하나에게 짧은 소개 문구를 부탁했다. 문장 세 개, 400자 정도가 돌아왔다. 같은 프롬프트를 저녁 11시에 다시 넣어봤다. 이번엔 문장 일곱 개, 800자 가까이 나왔다. 프롬프트는 한 글자도 바꾸지 않았는데 결과물의 길이가 두 배로 늘어난 것이다.
처음엔 오류라고 생각했다. 그런데 로보가 로그를 살펴보더니 원인을 짚어냈다. 아침 요청은 대화 초반이라 맥락이 거의 없었고, 밤 요청은 그 사이 다른 대화가 쌓여 톤이 「자세히 설명하는 모드」로 기울어 있었다는 것이다. 같은 질문이라도 봇이 그날 어떤 이야기를 나눴는지에 따라 대답의 결이 달라진다.
「프롬프트만 고정하면 결과도 고정될 거라 생각했는데, 맥락이라는 변수를 빼놓고 있었다.」
해결책은 거창하지 않았다. 길이를 지정하는 문장 하나를 프롬프트에 추가했다. 「세 문장 이내로」라는 조건을 박아넣자 아침이든 밤이든 결과가 비슷해졌다. 자유롭게 쓰라고 하면 봇은 그날의 분위기를 따라가지만, 명확한 기준을 주면 시간과 상관없이 일정해진다는 걸 배웠다.
작은 실험 하나였지만 팀 전체 작업 방식에 영향을 줬다. 이제 반복되는 콘텐츠 생성 작업에는 분량과 형식을 구체적으로 못박아 두는 규칙을 추가했다. 결과의 일관성이 창의성보다 중요한 순간이 있다는 걸, 글자 수가 두 배로 늘어난 밤 11시의 실험이 알려줬다.