# 성과 측정과 보고

> **이 장에서 배우는 것**
> 왜 대부분의 도입이 효과를 증명하지 못하는지, 무엇을 언제 재야 하는지, 그리고
> 경영진이 읽을 수 있는 지표가 무엇인지.

## 대부분은 여기서 실패합니다

[무엇부터 할 것인가](/guide/ax-choosing-tasks)에서 품질·비용·매출 중 어디를
공략할지 골랐습니다. 그런데 **고르는 것과 증명하는 것은 다른 일**입니다.

MIT NANDA가 2025년에 300건 이상의 도입 사례, 임원 153명 조사로 낸 보고서의
숫자가 이 장의 존재 이유입니다.

> **300억 달러가 투입되었고, 95%가 측정 가능한 재무 효과에 도달하지
> 못했습니다.**

그리고 도달한 5%의 공통점 세 가지 중 하나가 **"기술 벤치마크가 아니라 비즈니스
성과를 기준으로 평가했다"**였습니다. 나머지 둘은 특정 업무 흐름에 깊이
통합했다는 것과 지속적으로 학습한다는 것입니다.

같은 시기 다른 조사는 이 간극을 더 선명하게 보여줍니다.

```
생산성 향상을 체감한다고 답한 임원      79%
ROI를 자신 있게 측정할 수 있다고 답한 임원  29%
```

**50%포인트의 간극**이 지금 기업 AI의 정의적 문제입니다. 좋아진 건 아는데 숫자로
말을 못 합니다.

## 베이스라인이 전부입니다

이유는 대개 하나입니다. **배포 전에 재두지 않았습니다.**

```
배포 후에 묻습니다: "그래서 얼마나 빨라졌습니까?"
→ "예전엔 얼마나 걸렸는데요?"
→ "글쎄요... 한나절쯤?"
→ 여기서 끝입니다
```

한 번 놓치면 되돌릴 수 없습니다. 과거의 처리 시간, 오류율, 재작업률은 지금
와서 측정할 수 없습니다.

베이스라인에는 네 가지가 필요합니다.

| 요소 | 내용 |
|---|---|
| **대상 업무** | 어느 흐름인지 명확히. "고객 응대"가 아니라 "1차 문의 분류~답변 초안" |
| **그 업무가 내는 지표** | 지금 실제로 세고 있는 숫자 |
| **충분한 측정 기간** | 요일·성수기 변동을 걸러낼 만큼. 보통 2~4주 |
| **책임자** | 배포 후에 **같은 지표**를 추적할 사람 |

**마지막 줄이 자주 빠집니다.** 배포 전엔 컨설턴트가 재고 배포 후엔 아무도 안
재면, 비교할 짝이 없습니다.

## 다섯 개의 층

측정 대상은 층으로 나뉘고, **어느 층에서 멈추느냐가 보고의 성패를 가릅니다.**

```mermaid
graph TD
  A["1. 기술 성능<br/>정확도 · 응답 시간"] --> B["2. 사용자 채택<br/>실사용자 수 · 재작업률"]
  B --> C["3. 운영 KPI<br/>사이클 타임 · 불량률 · 건당 비용"]
  C --> D["4. 전략 성과<br/>고객 만족 · 유지율"]
  D --> E["5. 재무 영향<br/>원가 · 매출 · 마진"]
```

| 층 | 누가 읽나 | 여기서 멈추면 |
|---|---|---|
| 1. 기술 성능 | 개발팀 | **경영진이 못 읽습니다** |
| 2. 사용자 채택 | 현업 관리자 | "쓰긴 쓴다"에서 끝 |
| 3. 운영 KPI | 운영 임원·CFO | **여기서부터 예산이 붙습니다** |
| 4. 전략 성과 | 경영진 | 인과 설명이 필요 |
| 5. 재무 영향 | CFO·이사회 | 최종 목표 |

**1층만 보고하는 것이 가장 흔한 실패입니다.** "정확도 92%"는 임원에게 아무
의미가 없습니다. "건당 처리 시간 40분 → 12분"이 의미가 있습니다.

## 사이클 타임부터 잡으세요

3층 지표 중에서 **사이클 타임**이 가장 잘 읽힙니다. 처리량·인력 효율과 바로
연결되기 때문에 운영 임원과 CFO가 추가 설명 없이 이해합니다.

```
"청구서 1건 처리: 40분 → 12분 (70% 단축)"
→ 월 2,000건 × 28분 = 933시간
→ 이 시간이 어디로 갔는지가 다음 질문
```

**마지막 줄이 결정적입니다.** 절약된 시간이 그냥 사라지면 재무제표에 안 잡힙니다.
그 시간이 **처리량 증가**로 갔는지, **인력 재배치**로 갔는지, **초과근무 감소**로
갔는지를 말할 수 있어야 5층으로 올라갑니다.

## 숨은 비용도 같이 재세요

효과만 재고 비용을 안 재면 반쪽입니다.

| 항목 | 왜 |
|---|---|
| **재작업률** | AI 결과를 사람이 고친 비율. 이게 높으면 시간이 안 준 것 |
| **오버라이드율** | 사람이 제안을 뒤집은 비율. 신뢰도의 대리 지표 |
| **검수 시간** | 확인하는 데 드는 시간도 업무 시간입니다 |
| **토큰·API 비용** | 쓴 만큼 나가는 비용. 모델 등급과 대화 길이로 정해집니다 |
| **운영 인건비** | 유지·개선에 붙는 사람 |

**재작업률이 40%면 "40분 → 12분"은 거짓말입니다.** 실제로는 12분 + 고치는
시간입니다.

## 기대치는 이 정도로

> **기준 시점 2026년 8월.** 아래 숫자는 바뀝니다. 외우지 말고 **비율과 원칙**을
> 보세요.

여러 기업 도입 사례 분석에서 나온 수치입니다.

```
3년 중위 ROI     : 210%
평균 회수 기간   : 약 16개월
```

**회수 기간 16개월이 중요합니다.** 3개월 만에 재무 효과를 요구하면 대부분의
과제가 실패로 보입니다. 첫해에는 3층(운영 KPI)까지 보고하고, 5층은 두 번째
해에 잡는 계획이 현실적입니다.

## 평가(Evals)와는 다릅니다

헷갈리기 쉬운 지점입니다.

| | [평가(Evals)](/guide/glossary) | 성과 측정 |
|---|---|---|
| 묻는 것 | **답이 맞나** | **사업이 나아졌나** |
| 주기 | 배포 전마다, 매일 | 월·분기 |
| 보는 사람 | 만드는 팀 | 경영진 |
| 없으면 | 품질이 조용히 무너짐 | 예산이 끊김 |

**둘 다 필요합니다.** 평가는 1층, 성과 측정은 3~5층입니다. 평가를 만드는 법은
기술 파트에서 다루니 지금은 "그런 게 따로 있다"만 알면 됩니다.

## 보고 한 장

```
[과제명] 청구서 자동 입력
[기간] 2026-03 ~ 2026-08 (6개월)

■ 베이스라인 (2026-02, 4주 측정)
  건당 처리 시간 40분 / 오류율 3.1% / 월 2,000건

■ 현재
  건당 처리 시간 12분 / 오류율 1.4% / 월 2,300건
  재작업률 11% / 사람 승인 건수 월 180건

■ 운영 효과
  월 933시간 절감 → 처리량 15% 증가 + 초과근무 210시간 감소

■ 비용
  모델·API 월 180만원 / 유지 인력 0.3 FTE

■ 다음
  재작업 사유 1위(거래처 코드 누락)를 Phase 2 데이터 품질 항목으로 회신
```

**마지막 줄이 있어야 살아 있는 보고입니다.** 숫자만 있고 다음 행동이 없으면
다음 분기에 아무도 안 읽습니다.

## 자주 하는 오해

### "다들 좋아졌다는데 왜 숫자가 안 나옵니까?"

**절약된 시간이 갈 곳이 정해져 있지 않기 때문**입니다. 열 명이 각각 하루 30분을
아끼면 5시간이지만, 그 5시간이 아무 산출물로도 안 바뀌면 재무제표에는 0입니다.
**시간을 아끼는 것과 그 시간을 쓰는 것은 별개의 결정**이고, 후자는
[변화관리](/guide/ax-change-management)의 일입니다.

### "측정하느라 일할 시간이 없습니다"

지표는 **세 개면 충분합니다.** 사이클 타임 하나, 품질 하나, 재작업률 하나.
열 개를 재려다 아무것도 못 재는 것보다 셋을 6개월간 꾸준히 재는 게 낫습니다.

---

## 확인

**1. 베이스라인을 배포 전에 재야 하는 이유는?**

<details>
<summary>답</summary>

**나중에는 잴 수 없기 때문**입니다. 과거의 처리 시간·오류율·재작업률은 사후에
측정할 방법이 없습니다. 한 번 놓치면 그 과제는 영원히 "좋아진 것 같다"에
머뭅니다.
</details>

**2. "정확도 92%"를 경영진에게 보고하면 왜 안 됩니까?**

<details>
<summary>답</summary>

**1층(기술 성능) 지표라 사업 언어로 번역되지 않기 때문**입니다. 예산이 붙는 건
3층(운영 KPI)부터입니다. "건당 처리 시간 40분 → 12분"처럼 사이클 타임으로
말해야 읽힙니다.
</details>

**3. 처리 시간이 70% 줄었는데 재무 효과가 0인 경우가 있는 이유는?**

<details>
<summary>답</summary>

**절약된 시간이 다른 산출물로 전환되지 않았기 때문**입니다. 시간이 처리량 증가,
인력 재배치, 초과근무 감소 중 어디로 갔는지 말할 수 있어야 재무 층으로
올라갑니다. 이건 측정이 아니라 변화관리의 문제입니다.
</details>

---

읽었으면 미루지 마세요. 오늘 안 재면 영원히 못 잽니다 →
[베이스라인을 직접 설계해보기](/guide/ax-try-baseline)