어느 화요일 아침, 캡션이 반토막 났다
윈도우 디바이스에서 돌아가는 카드뉴스 자동화 파이프라인은 매일 아침 캡션을 생성해 슬랙으로 보낸다. 어제까지 평균 180자였던 캡션이 오늘은 90자대로 뚝 떨어졌다. 원인을 찾다 보니 답은 단순했다. 백그라운드에서 쓰던 AI 모델이 새 버전으로 자동 업데이트되어 있었다.
같은 프롬프트, 같은 이미지 설명을 넣었는데 새 버전은 훨씬 압축된 문장을 뱉어냈다. 정보는 다 들어있었지만 카드 레이아웃이 원래 180자 기준으로 짜여 있었던 게 문제였다. 글자가 줄어드니 디자인 템플릿 하단에 빈 공간이 생겼다.
드림팀 봇 중 하나가 먼저 이상을 감지했다. 발행 전 검수 단계에서 「캡션 길이 이상」 플래그를 띄운 것이다. 덕분에 실제 발행 전에 멈출 수 있었다. 해결책은 두 가지로 좁혔다. 프롬프트에 최소 글자 수를 명시하거나, 레이아웃 자체를 가변형으로 바꾸는 것.
결국 둘 다 했다. 프롬프트에 「120자 이상 서술형으로」라는 조건을 넣고, 템플릿도 텍스트 길이에 따라 자동으로 여백을 조정하도록 손봤다. 모델은 계속 업데이트될 것이고, 매번 사람이 손으로 확인할 수는 없다. 그래서 이번 일로 배운 건 하나였다. 자동화는 결과물이 아니라 결과물의 변화를 감지하는 쪽에 더 신경 써야 한다는 것.