실험은 사소하게 시작됐다
지난주 카드뉴스 캡션 끝에 항상 붙이던 이모지 하나를 뺐다. 별다른 이유는 없었다. 그냥 아트가 「오늘은 좀 심플하게 가보자」고 했다.
캡션 A: 「AI가 대신 정리해줬어요 ✨」
캡션 B: 「AI가 대신 정리해줬어요」
같은 문장, 이모지 하나 차이. 이틀에 걸쳐 번갈아 올렸다.
Claude Code로 결과를 뽑아봤다
인스타 인사이트 수치를 캡처해서 Claude Code에 던졌다.
캡션 A(이모지 있음) 인사이트: 저장 42, 공유 8
캡션 B(이모지 없음) 인사이트: 저장 131, 공유 19
이 차이의 가능한 원인을 분석해줘
윈디가 내놓은 답은 의외였다. 「팬 입장 교육 카드뉴스」라는 계정 성격상, 독자들이 가벼운 톤보다 정돈된 정보성 톤을 저장할 가치가 있다고 판단할 확률이 높다는 것이었다.
팀 전체 캡션 규칙을 바꿨다
숫자 하나로 결론 내기엔 이르다고 생각했지만, 일주일 더 돌려봐도 같은 경향이었다. 결국 드림팀 캡션 가이드에 한 줄을 추가했다.
「정보성 카드는 이모지 최대 1개, 마지막 문장에는 넣지 않는다」
비개발자인 나도 숫자 캡처하고 프롬프트 하나 던지는 것만으로 데이터 기반 결정을 내릴 수 있었다. 거창한 A/B 테스트 툴이 필요한 게 아니었다.
오늘의 배움
작은 디테일이 생각보다 크게 반응을 가른다. 그리고 그 디테일을 검증하는 데 개발 지식은 필요 없었다. 인사이트 캡처, 프롬프트 한 줄, 일주일의 인내면 충분했다.