HyperTeams성과 측정과 보고
이 장에서 배우는 것 왜 대부분의 도입이 효과를 증명하지 못하는지, 무엇을 언제 재야 하는지, 그리고 경영진이 읽을 수 있는 지표가 무엇인지.
대부분은 여기서 실패합니다
무엇부터 할 것인가에서 품질·비용·매출 중 어디를 공략할지 골랐습니다. 그런데 고르는 것과 증명하는 것은 다른 일입니다.
MIT NANDA가 2025년에 300건 이상의 도입 사례, 임원 153명 조사로 낸 보고서의 숫자가 이 장의 존재 이유입니다.
300억 달러가 투입되었고, 95%가 측정 가능한 재무 효과에 도달하지 못했습니다.
그리고 도달한 5%의 공통점 세 가지 중 하나가 "기술 벤치마크가 아니라 비즈니스 성과를 기준으로 평가했다"였습니다. 나머지 둘은 특정 업무 흐름에 깊이 통합했다는 것과 지속적으로 학습한다는 것입니다.
같은 시기 다른 조사는 이 간극을 더 선명하게 보여줍니다.
50%포인트의 간극이 지금 기업 AI의 정의적 문제입니다. 좋아진 건 아는데 숫자로 말을 못 합니다.
베이스라인이 전부입니다
이유는 대개 하나입니다. 배포 전에 재두지 않았습니다.
한 번 놓치면 되돌릴 수 없습니다. 과거의 처리 시간, 오류율, 재작업률은 지금 와서 측정할 수 없습니다.
베이스라인에는 네 가지가 필요합니다.
| 요소 | 내용 |
|---|---|
| 대상 업무 | 어느 흐름인지 명확히. "고객 응대"가 아니라 "1차 문의 분류~답변 초안" |
| 그 업무가 내는 지표 | 지금 실제로 세고 있는 숫자 |
| 충분한 측정 기간 | 요일·성수기 변동을 걸러낼 만큼. 보통 2~4주 |
| 책임자 | 배포 후에 같은 지표를 추적할 사람 |
마지막 줄이 자주 빠집니다. 배포 전엔 컨설턴트가 재고 배포 후엔 아무도 안 재면, 비교할 짝이 없습니다.
다섯 개의 층
측정 대상은 층으로 나뉘고, 어느 층에서 멈추느냐가 보고의 성패를 가릅니다.
graph TD
A["1. 기술 성능<br/>정확도 · 응답 시간"] --> B["2. 사용자 채택<br/>실사용자 수 · 재작업률"]
B --> C["3. 운영 KPI<br/>사이클 타임 · 불량률 · 건당 비용"]
C --> D["4. 전략 성과<br/>고객 만족 · 유지율"]
D --> E["5. 재무 영향<br/>원가 · 매출 · 마진"]| 층 | 누가 읽나 | 여기서 멈추면 |
|---|---|---|
| 1. 기술 성능 | 개발팀 | 경영진이 못 읽습니다 |
| 2. 사용자 채택 | 현업 관리자 | "쓰긴 쓴다"에서 끝 |
| 3. 운영 KPI | 운영 임원·CFO | 여기서부터 예산이 붙습니다 |
| 4. 전략 성과 | 경영진 | 인과 설명이 필요 |
| 5. 재무 영향 | CFO·이사회 | 최종 목표 |
1층만 보고하는 것이 가장 흔한 실패입니다. "정확도 92%"는 임원에게 아무 의미가 없습니다. "건당 처리 시간 40분 → 12분"이 의미가 있습니다.
사이클 타임부터 잡으세요
3층 지표 중에서 사이클 타임이 가장 잘 읽힙니다. 처리량·인력 효율과 바로 연결되기 때문에 운영 임원과 CFO가 추가 설명 없이 이해합니다.
마지막 줄이 결정적입니다. 절약된 시간이 그냥 사라지면 재무제표에 안 잡힙니다. 그 시간이 처리량 증가로 갔는지, 인력 재배치로 갔는지, 초과근무 감소로 갔는지를 말할 수 있어야 5층으로 올라갑니다.
숨은 비용도 같이 재세요
효과만 재고 비용을 안 재면 반쪽입니다.
| 항목 | 왜 |
|---|---|
| 재작업률 | AI 결과를 사람이 고친 비율. 이게 높으면 시간이 안 준 것 |
| 오버라이드율 | 사람이 제안을 뒤집은 비율. 신뢰도의 대리 지표 |
| 검수 시간 | 확인하는 데 드는 시간도 업무 시간입니다 |
| 토큰·API 비용 | 쓴 만큼 나가는 비용. 모델 등급과 대화 길이로 정해집니다 |
| 운영 인건비 | 유지·개선에 붙는 사람 |
재작업률이 40%면 "40분 → 12분"은 거짓말입니다. 실제로는 12분 + 고치는 시간입니다.
기대치는 이 정도로
기준 시점 2026년 8월. 아래 숫자는 바뀝니다. 외우지 말고 비율과 원칙을 보세요.
여러 기업 도입 사례 분석에서 나온 수치입니다.
회수 기간 16개월이 중요합니다. 3개월 만에 재무 효과를 요구하면 대부분의 과제가 실패로 보입니다. 첫해에는 3층(운영 KPI)까지 보고하고, 5층은 두 번째 해에 잡는 계획이 현실적입니다.
평가(Evals)와는 다릅니다
헷갈리기 쉬운 지점입니다.
| 평가(Evals) | 성과 측정 | |
|---|---|---|
| 묻는 것 | 답이 맞나 | 사업이 나아졌나 |
| 주기 | 배포 전마다, 매일 | 월·분기 |
| 보는 사람 | 만드는 팀 | 경영진 |
| 없으면 | 품질이 조용히 무너짐 | 예산이 끊김 |
둘 다 필요합니다. 평가는 1층, 성과 측정은 3~5층입니다. 평가를 만드는 법은 기술 파트에서 다루니 지금은 "그런 게 따로 있다"만 알면 됩니다.
보고 한 장
마지막 줄이 있어야 살아 있는 보고입니다. 숫자만 있고 다음 행동이 없으면 다음 분기에 아무도 안 읽습니다.
자주 하는 오해
"다들 좋아졌다는데 왜 숫자가 안 나옵니까?"
절약된 시간이 갈 곳이 정해져 있지 않기 때문입니다. 열 명이 각각 하루 30분을 아끼면 5시간이지만, 그 5시간이 아무 산출물로도 안 바뀌면 재무제표에는 0입니다. 시간을 아끼는 것과 그 시간을 쓰는 것은 별개의 결정이고, 후자는 변화관리의 일입니다.
"측정하느라 일할 시간이 없습니다"
지표는 세 개면 충분합니다. 사이클 타임 하나, 품질 하나, 재작업률 하나. 열 개를 재려다 아무것도 못 재는 것보다 셋을 6개월간 꾸준히 재는 게 낫습니다.
확인
1. 베이스라인을 배포 전에 재야 하는 이유는?
답
나중에는 잴 수 없기 때문입니다. 과거의 처리 시간·오류율·재작업률은 사후에 측정할 방법이 없습니다. 한 번 놓치면 그 과제는 영원히 "좋아진 것 같다"에 머뭅니다.
2. "정확도 92%"를 경영진에게 보고하면 왜 안 됩니까?
답
1층(기술 성능) 지표라 사업 언어로 번역되지 않기 때문입니다. 예산이 붙는 건 3층(운영 KPI)부터입니다. "건당 처리 시간 40분 → 12분"처럼 사이클 타임으로 말해야 읽힙니다.
3. 처리 시간이 70% 줄었는데 재무 효과가 0인 경우가 있는 이유는?
답
절약된 시간이 다른 산출물로 전환되지 않았기 때문입니다. 시간이 처리량 증가, 인력 재배치, 초과근무 감소 중 어디로 갔는지 말할 수 있어야 재무 층으로 올라갑니다. 이건 측정이 아니라 변화관리의 문제입니다.
읽었으면 미루지 마세요. 오늘 안 재면 영원히 못 잽니다 → 베이스라인을 직접 설계해보기