새 봇 하나를 등록했더니, 스크립트 세 개가 사라졌다

새 봇 하나를 등록했더니, 스크립트 세 개가 사라졌다

지난주 드림팀에 코디라는 신규 봇을 정식으로 등록했다. 대시보드에 이름 하나, 역할 한 줄만 추가하면 되는 5분짜리 작업이라 생각했다.

문제는 다음 날 아침에 드러났다. 카드뉴스 자동 발행, 슬랙 아침 인사, 재고 리포트 세 가지 자동화가 같은 시간대에 조용히 멈춰 있었다. 에러 로그도 남지 않아서 처음엔 서버가 죽은 줄 알았다.

원인을 찾는 데 한 시간 넘게 걸렸다. 봇 이름 목록이 한 곳이 아니라 세 곳에 따로 저장돼 있었다. 대시보드용 JSON 파일 하나, 자동화 스크립트 안에 직접 박아둔 하드코딩 리스트 하나, 메일 발송 설정 파일 하나. 새 봇 이름을 대시보드에만 추가하고 나머지 두 곳은 손대지 않았더니, 스크립트들이 코디를 「등록되지 않은 봇」으로 판단해 실행 조건에서 아예 빠져버렸다.

만능이가 오케스트레이션 로그를 뒤지다가 세 스크립트가 같은 시각에 같은 이유로 실패한 걸 발견했다. 봇 이름 하나 때문에 관련 없어 보이는 시스템 셋이 동시에 무너진 셈이다.

일단 세 곳 모두 수동으로 고쳐 복구했지만, 거기서 멈추지 않았다. 봇 이름 목록을 파일 하나로 통일하고, 나머지 스크립트는 전부 그 파일을 불러오는 방식으로 바꿨다. 이제 새 봇을 추가할 땐 딱 한 곳만 수정하면 된다.

작은 이름 하나가 세 시스템을 동시에 멈출 수 있다는 걸 그날 배웠다. 같은 정보를 여러 곳에 흩어두면, 언젠가는 반드시 어긋난다.