흩어진 배포·스프린트 정보를 한 화면에 — S/W 대시보드 구축 및 운영에 대한 이야기
틀린 숫자 대신 빈칸과 이유를 보여 주기까지, AI 코딩 에이전트와 함께 S/W 대시보드를 만들고 운영한 석 달 반의 기록을 공유합니다.
1. 문제 — 매번 사람이 표를 만들던 시절
"이 서비스, 지금 상용 버전이 뭐예요?"
경영진 보고나 주간 점검에서 이 질문이 나오면 담당 PM은 여러 시스템을 돌아다니며 정보를 모아야 했습니다. 배포 버전은 GitLab에, 스프린트(1~2주 단위의 개발 주기)와 로드맵은 Jira에, 릴리즈 일정은 팀 캘린더에, 주간 요약은 Confluence에 흩어져 있었습니다. 표를 만드는 데 시간이 들었고 완성된 표는 만든 순간의 숫자일 뿐이었습니다.
그래서 PMO(프로젝트 관리 조직)는 이 정보를 한 화면에 모으는 S/W 대시보드를 만들었습니다. 각자의 서비스로 바쁜 개발팀에 맡기는 대신, AI 코딩 에이전트와 대화하며 직접 만드는 방식을 택했습니다. 이른바 '바이브 코딩'입니다.

그림 1. S/W 대시보드('UMOS ONE S/W 현황') 상단의 지표 카드. 지연·릴리즈·스프린트·배포·로드맵 현황을 한 줄에 보여 줍니다. 화면의 숫자는 가상 데이터입니다.
목표는 세 가지였습니다. 한 화면에서 볼 것, 사람이 손으로 모으지 않을 것, 데이터가 멈추거나 형식이 달라져도 조용히 틀리지 않을 것. 앞의 둘은 금방 이뤘고 오래 걸린 쪽은 세 번째였습니다. 이 글은 그 세 번째 목표와, AI와 함께 대시보드를 만들며 배운 점을 다룹니다.
2. 구조 — 서버 없이, 파일 하나로
대시보드의 구조는 단순합니다. 수집 프로그램이 GitLab·Jira·팀 캘린더·Confluence에서 데이터를 읽어 status.json 파일 하나로 만들고 화면은 그 파일만 읽어 그립니다(그림 2). 별도 서버도 데이터베이스도 없이, 자동 파이프라인(정해진 때마다 저절로 도는 작업)이 평일 업무 시간에는 매시간, 그리고 변경이 머지될 때마다 이 파일을 새로 만들어 게시합니다. 운영하면서 사람이 주로 바꾸는 곳은 어떤 S/W를 보여 줄지 적은 services.yaml 한 파일입니다.
그림 2. 네 출처의 데이터를 파일 하나(status.json)로 모으고, 화면은 그 파일만 읽습니다.
데이터베이스를 두지 않은 것은 이 화면이 "지금 상태"를 보여 주는 도구이기 때문입니다. 대부분의 값은 매번 새로 계산하면 되고 지연 추이처럼 쌓아야 하는 값만 직전에 게시한 파일을 읽어 이어 붙입니다. 직전 파일을 읽지 못하면 무리해서 새로 만들지 않고 그 회차 갱신을 건너뜁니다. 이력을 잃느니 한 번 늦는 쪽을 택했습니다.
3. 원칙 — 조용히 틀리지 않기
대시보드는 한 번 만들어 두면 아무도 모르게 어긋나기 쉽습니다. 원천 데이터의 형식이 바뀌거나, 수집이 실패하거나, 같은 숫자를 서로 다른 기준으로 세기 시작해도 화면은 그럴듯한 숫자를 계속 보여 줍니다. 그래서 운영 원칙을 하나 세웠습니다.
틀린 숫자보다 빈칸이 낫다. 대신 왜 비었는지 알린다.
빈칸에 이유를 붙인 사례
어느 날 한 그룹에서 S/W 여러 개의 상용 버전 칸이 "정보 없음"으로 떴습니다. 대시보드는 저장소에 붙은 버전 표시(태그)를 S/W마다 등록된 규칙으로 읽습니다. 규칙에 맞는 정식 태그는 상용 버전 칸에, 그 밖의 최신 태그는 "검증 중"(아직 상용 전인 버전) 칸에 보여 줍니다. 이 저장소들은 v1.2.3 같은 형식을 정식 태그로 보는 규칙으로 등록돼 있었지만 실제로는 2.3.1.260702.01(예시)처럼 저마다 다른 형식을 쓰고 있었습니다. 상용 버전 칸은 비었고 최신 태그는 "검증 중"으로 표시됐는데, 그중 일부는 실제로 정식 배포였습니다. 빈칸 옆에 틀린 표시까지 붙어 있었던 셈입니다.
그 뒤로는 태그가 있어도 규칙에 맞는 것이 없으면 "검증 중"으로 단정하지 않습니다. 빈칸 대신 "정식 태그 형식 확인 필요"라는 안내와 함께 최근 태그 세 개를 보여 줍니다(그림 3). 이번 사례에서는 안내에 뜬 태그로 형식을 바로 확인할 수 있었습니다. 저장소에 따라 목록에서 빼거나 규칙을 한 줄 고쳤고 개발팀이 정식 태그를 새로 붙여 준 곳도 있었습니다.

그림 3. 정상 카드(위)와 규칙에 맞는 태그가 없을 때 빈칸 대신 보이는 안내(아래). S/W 이름과 태그는 가상 데이터입니다.
그 밖의 안전장치
- 수집 실패: 일부 출처에서 수집이 실패하면 나머지로 화면을 그리되, 어느 출처가 실패했는지 화면과 Slack에 알립니다. 갱신이 예정보다 늦어지면 갱신 시각 표시가 경고색으로 바뀝니다.
- 이름 불일치: 릴리즈 일정의 서비스 이름이 등록된 S/W 이름과 다르면 "지연"이 아니라 "서비스명 확인"으로 따로 표시합니다. 대조하지 못한 것을 지연으로 세면 지연 숫자 전체가 신뢰를 잃기 때문입니다.
- 이름 변경: 그룹이나 스프린트 이름이 바뀌면 예전 기록과 이어지지 않아, 합계는 맞는데 차트 막대가 비거나 엉뚱한 자리에 붙을 수 있습니다. 그래서 예전 이름과 새 이름을 잇는 목록을 두고 연결이 끊기지 않는지 테스트로 지킵니다.
- 기준 불일치: 한때 상단 카드는 "이번 주", 아래 요약은 "지난 1주일" 기준으로 릴리즈를 세서 같은 화면에 4건과 10건이 함께 보였습니다. 기준을 "지난 1주일"로 맞추고 기간 계산도 한 곳에서만 하도록 바꿨습니다.
- 알림 피로: 매시간 같은 경고가 오면 아무도 보지 않게 됩니다. Slack 알림은 문제가 새로 생기거나 해소될 때만 보냅니다. 단, 수집이 아예 중단돼 화면을 갱신하지 못했을 때는 매번 알립니다.
물론 형식은 맞는데 값 자체가 틀린 경우(예: 배포하지 않은 버전에 정식 태그를 붙인 경우)까지 잡을 수는 없습니다. 그 부분은 원천 데이터를 만드는 쪽과의 약속으로 보완합니다.
4. 정의 — 그럴듯해서 더 위험했던 숫자
빈칸은 적어도 눈에 띕니다. 그럴듯해 보이는 틀린 숫자는 더 위험합니다. 대표적인 예가 스프린트 탭의 velocity입니다. velocity는 팀이 스프린트마다 끝낸 일의 양을 스토리 포인트(일의 크기를 상대적으로 매긴 점수)로 합친 값으로, 다음 스프린트에 얼마나 담을지 정할 때 참고하는 숫자입니다.
처음에는 단순하게 셌습니다. 스프린트에 들어 있던 일 가운데 완료된 것의 포인트를 모두 더했습니다. 막대는 스프린트마다 그려졌고 오류도 없었습니다. 그런데 9월 중순, 한 프로덕트의 PM과 velocity를 함께 살펴보다가 숫자가 이상하다는 것을 알아챘습니다. 따라가 보니 두 군데가 어긋나 있었습니다.
- 두 번 세기: 하위 작업이 있는 일은 상위 작업과 하위 작업에 포인트가 함께 적혀 있어, 같은 일이 두 번 더해졌습니다.
- 지난 숫자가 바뀌기: 끝내지 못해 다음 스프린트로 넘긴 일에도 이전 스프린트에 속했던 기록이 남아, 나중에 완료되면 이미 끝난 스프린트의 velocity까지 조용히 늘었습니다.
그래서 기준을 바꿨습니다. 실제로 일이 이뤄지는 가장 아래 단위만 세고 스프린트 기간 안에 완료된 일만 그 스프린트의 몫으로 봅니다. 이 기준을 두 그룹의 실제 숫자로 먼저 검증한 뒤 대시보드 전체에 적용했습니다.
기준을 바꾸고 나니 이번에는 누가 봐도 튀는 숫자가 나왔습니다. 두 보드가 한 Jira 프로젝트를 함께 쓰는 그룹에서는 옆 보드가 끝낸 일과 스프린트에 넣지 않은 일까지 같은 기간에 끝났다는 이유로 섞였고, 실제 15포인트였던 스프린트가 200포인트 넘게 표시됐습니다. 이 문제는 그 그룹의 담당 PM이 바이브 코딩으로 직접 고쳤습니다. 기간 기준은 그대로 두고, 수집 코드에 '스프린트에 실제로 들어 있던 일'만 세는 조건을 더한 뒤 services.yaml에서 그 그룹에만 이 조건을 켜는 방식이었습니다. 한 가지 기준이 모든 팀의 일하는 방식에 맞지는 않았기 때문입니다.
이 두 사례에서 숫자 하나에도 정의가 여러 겹 들어 있다는 것을 배웠습니다. 무엇을 셀지, 언제의 일로 볼지, 어디까지를 한 팀의 일로 볼지 정하지 않으면, 오류 하나 없이도 숫자는 소리 없이 어긋납니다. 그래서 기준을 바꿀 때는 바꾸는 이유와 실제로 달라지는 숫자를 변경 기록에 함께 남기기로 했습니다.
5. 관리 — 한 파일의 목록, 개발팀과의 약속
대시보드에 무엇이 보일지는 services.yaml이 정합니다. 아래 다섯 줄이 S/W 하나를 정의합니다. S/W를 더하거나 뺄 때도 코드와 똑같이 리뷰를 거쳐 반영합니다.
- name: example-service # 화면에 보이는 이름
group: 서비스 그룹 이름 # 소속 그룹
gitlab_project_id: 12345678 # 버전을 읽을 저장소
version_source: release # 정식 태그로 상용 버전 판별
tag_regex: '^v\d+\.\d+\.\d+$' # 정식 태그 규칙(v1.2.3 형식)
목록은 늘리는 일보다 덜어 내는 일이 더 중요했습니다. 한 그룹에 저장소를 100개 넘게 올려 두니 정작 봐야 할 S/W가 묻혔고, 그 그룹의 목록을 배포 관리 대상으로 고른 저장소 37개로 줄이자 화면이 읽히기 시작했습니다.
원천 데이터를 만드는 개발팀과는 다음을 함께 맞춰 가고 있습니다.
- 정식 배포는 정식 태그로. 저장소마다 규칙을 하나 정하고 검증용 태그는
-rc같은 접미사로 구분합니다. - 릴리즈 일정에는 등록된 S/W 이름과 버전을. 그래야 일정과 실제 배포를 자동으로 대조할 수 있습니다.
- 동시에 도는 스프린트에는 구분 표시를. 이름 앞에
[개발]처럼 붙이면 차트와 진행 현황이 제대로 짝지어집니다.
6. AI 협업 — 기준은 사람이, 반복은 AI가
지금까지 대시보드 저장소에 올라온 머지 요청(MR, Merge Request: 변경을 공용 코드에 합쳐 달라는 요청) 110건 중 102건은 AI 코딩 에이전트(Claude Code)가 작성했습니다. 나머지 8건은 사람 계정으로 올라왔습니다. 그중 PM·인프라 담당자가 올린 3건도 AI 에이전트로 만든 것이었습니다. 머지는 모두 사람이 했습니다.
변경 1건이 지나가는 길
- 에이전트가 구현하고 로컬에서 점검을 돌립니다.
- 화면이 바뀌는 변경은 먼저 데모로 보여 주고 사람이 승인한 뒤에 MR을 올립니다.
- MR이 올라오면 자동 점검(수집 로직·화면 계산 테스트, 정적 코드 검사, 견본 데이터로 띄운 브라우저 화면 점검)이 돌고, AI 리뷰 봇이 지적을 남깁니다.
- 에이전트가 지적을 검토해 타당하면 고치고 동의하지 않으면 근거를 답글로 남깁니다.
- 더 손볼 것이 없으면 사람에게 알리고 사람이 머지합니다.
처음부터 이렇게 굴러간 것은 아닙니다. 리뷰 봇을 붙인 첫 3주 남짓 동안은 에이전트가 지적마다 따로 답하지 않고 대개 MR 맨 아래에 요약 답글을 달았습니다. 링크 주소 검증에 관한 보안 지적을 받은 문제도 같은 MR에서 바로 고쳤지만, 지적이 달린 자리에는 아무 표시가 없어 무엇을 어떻게 처리했는지 나중에 따라가기 어려웠습니다. 지적마다 그 자리에서 답하도록 흐름을 바꾸자, 지적 옆에 직접 답글이 달린 비율이 0%에서 90% 가까이로 올랐고 중요도가 높은 지적에는 빠짐없이 답이 달렸습니다. 답하는 것과 그 답을 지적 옆에 남기는 것은 다른 일이었습니다.
지적을 그대로 따르지도 않습니다. 이미 이스케이프(특수 문자를 안전한 표기로 바꾸는 처리)한 값을 한 번 더 바꾸자는 제안은 화면에 깨진 글자를 만들기 때문에 받아들이지 않았고, 대신 그 동작이 안전하다는 것을 확인하는 테스트를 추가하고 이유를 답글로 남겼습니다. 받아들이든 아니든 판단을 기록으로 남기는 일이 중요했습니다.
사람의 몫도 분명히 했습니다. 무엇을 만들지 정하고, 데모를 승인하고, 리뷰 봇의 지적과 점검 결과를 보고 머지를 결정하는 일입니다. 이 대시보드는 원천 시스템의 데이터를 읽기만 하는 사내 도구라 다른 시스템을 망가뜨릴 위험은 낮습니다. 그래서 사람은 코드를 한 줄씩 읽기보다 데모와 점검 결과로 판단합니다. 다만 숫자가 틀리면 그 숫자를 인용한 보고가 모두 어긋나고, 테스트의 기댓값 자체가 틀리면 점검도 그 오류를 놓칩니다. 이런 위험을 줄이려고 변경을 되도록 작게 나누고, 숫자의 기준이 바뀌는 변경은 4절에서 정한 대로, 달라지는 숫자를 실제 데이터로 확인해 변경 기록에 남깁니다.
실수에서 규칙으로
AI 에이전트도 실수를 합니다. 아직 열려 있는 MR을 머지됐다고 보고하거나, 저장소에 들어가면 안 되는 수집 결과 파일을 변경 사항에 섞어 올린 일이 있었습니다. 그때마다 "상태는 확인한 뒤에만 보고한다", "산출물은 아예 올라가지 않게 막는다" 같은 규칙을 만들어, 사람의 기억이 아니라 저장소 설정과 에이전트의 작업 지침에 남겼습니다.
7. 정리 — 비슷한 대시보드를 만들려는 팀에게
석 달 반 동안 대시보드를 만들고 운영하며 배운 것은 세 가지입니다.
- 숫자를 믿게 만드는 일이 먼저입니다. 버전 칸이 비었을 때는 "왜 비었는지"를 알려 주는 안내가 필요했습니다. 숫자마다 무엇을, 언제의 일로, 어디까지를 한 팀의 일로 셀지 정해 두어야 하는 것도 같은 이유에서입니다.
- 기준은 사람이, 반복은 AI가 맡습니다. 무엇을 보여 줄지는 사람이 정하고 점검·수정·리뷰 대응의 반복은 AI 에이전트에게 맡기는 분업이 잘 맞았습니다. 바이브 코딩이라 해도 기준과 점검 항목만큼은 사람이 쥐고 있어야 합니다.
- 변경은 작게 나눕니다. AI가 빠르게 많이 만들수록, 사람이 판단할 수 있는 크기로 쪼개야 합니다.
시작하려는 팀에는 화려한 화면보다 믿을 수 있는 기반을 먼저 만들기를 권합니다. S/W 목록 파일 하나, 정식 태그 규칙 한 줄, 그리고 수집이 실패하거나 태그가 규칙에 어긋나면 빈칸과 이유가 보이는 화면입니다. 틀린 숫자보다 빈칸이 낫다는 원칙만 지키면, 대시보드는 보고를 위한 표가 아니라 팀이 믿고 보는 화면이 됩니다.
다음 글에서는 전사 프로덕트들의 사업 지표를 한눈에 볼 수 있는 Biz. Dashboard 이야기를 이어서 전할 예정입니다.