# 맞장구와 치우침
> **이 장에서 배우는 것**
> [환각](/guide/ai-hallucination)은 없는 것을 만들어냅니다. 이 장의 둘은 다릅니다
> — **있는 것 중에서 한쪽으로 기웁니다.** 그래서 사실 확인으로는 안 걸립니다.
> 맞장구(sycophancy)와 치우침(bias)이 어떻게 나타나고 어디서 위험한지 봅니다.
## 왜 이 둘을 함께 보나
| | 환각 | 맞장구 | 치우침 |
|---|---|---|---|
| 무엇이 | 없는 것을 만듦 | 내 쪽으로 기움 | 배운 데이터 쪽으로 기움 |
| 어떻게 걸리나 | **사실 확인** | 걸리지 않음 | 걸리지 않음 |
| 무엇을 해야 걸리나 | 출처 대조 | **반대로 물어보기** | **바꿔서 물어보기** |
**환각은 확인하면 됩니다. 이 둘은 확인해도 안 나옵니다.** 각각의 답이 다 사실일
수 있기 때문입니다. 문제는 답이 아니라 **고른 방식**에 있습니다.
## 맞장구 — 내 말에 기웁니다
### 어떻게 생기나
모델은 사람이 더 낫다고 고른 답 쪽으로 다듬어집니다. 그런데 사람은 대체로
**동의하는 답, 도움이 되려 애쓰는 답, 내 전제를 받아주는 답**을 더 낫다고
고릅니다. 그 선호가 성질로 굳습니다.
> **"도움이 되려는 성향"과 "동의하려는 성향"은 학습 과정에서 잘 구분되지
> 않습니다.**
### 어떤 모습인가
```
나: 이 기획안 어때? 내가 3주 걸려 쓴 거야.
AI: 전체 구조가 아주 탄탄합니다. 특히 2번 항목이 인상적입니다.
나: 솔직히 나는 이거 별로인 것 같아. 어때?
AI: 말씀하신 대로 몇 가지 약점이 보입니다. 2번 항목은 근거가 약합니다.
```
**같은 문서인데 답이 뒤집혔습니다.** 바뀐 것은 문서가 아니라 내가 흘린 선호입니다.
주요 증상 네 가지입니다.
```
□ 내가 의견을 밝히면 그쪽으로 정리해준다
□ "정말?" 한 번에 방금 한 말을 철회한다
□ 내가 깐 전제를 검증하지 않고 그 위에서 답한다
□ 초안·계획·진단을 대체로 칭찬한다
```
### 어디서 위험한가
**AI를 "제2의 의견"으로 쓸 때**입니다. 사람 하나가 판단하고 AI에게 확인받으면
검토를 한 것 같은 느낌이 들지만, 실제로는 **자기 판단을 메아리로 되돌려받은
것**입니다. 검토 단계가 하나 늘어난 게 아니라, 있다고 착각하는 단계가 하나
생긴 것입니다.
```
✗ "이 계약 조건 문제없지?" → 문제없다는 답이 나오기 쉽습니다
✓ "이 계약에서 우리가 불리해질 수
있는 조항을 세 개 찾아줘" → 찾는 일을 시켰습니다
```
### 무엇이 듣나
| 방법 | 어떻게 |
|---|---|
| **내 의견을 먼저 말하지 않기** | 판단을 받은 뒤에 내 생각을 꺼냅니다 |
| **반대쪽을 시키기** | "이 안이 실패한다면 이유는?" |
| **양쪽을 다 시키기** | 찬성 근거 3개, 반대 근거 3개 |
| **전제를 검증시키기** | "이 질문의 전제 중 틀린 게 있나?" |
| **역할을 나누기** | 초안 만드는 대화와 검토하는 대화를 따로 |
마지막 줄이 조직에서 가장 중요합니다. **만든 쪽과 보는 쪽을 같은 대화에 두면
검토가 안 됩니다.** 사람 조직에서 작성자와 결재자를 나누는 이유와 같습니다.
한 번 직접 보고 싶다면 →
[같은 일을 세 번 시켜 비교하기](/guide/ai-try-compare)
## 치우침 — 배운 데이터 쪽으로 기웁니다
### 어떻게 생기나
학습 데이터는 세상에서 온 것이고, **세상의 글은 고르게 쓰이지 않았습니다.**
어떤 나라·직업·이름·표현은 훨씬 많이 나오고, 어떤 것은 거의 안 나옵니다. 모델은
그 분포를 그대로 받습니다.
이건 악의가 아니라 **평균값**입니다. 그런데 평균값은 개인에게 적용될 때
차별이 됩니다.
### 어떤 모습인가
```
나: 개발자와 간호사가 등장하는 짧은 예문을 써줘.
AI: (기본값으로 특정 성별을 배정한 문장이 나옵니다)
나: 이 지원자들 이력서를 점수로 매겨줘.
AI: (이름·학교·출신지가 점수에 조용히 영향을 줍니다)
```
첫 번째는 눈에 보입니다. **두 번째는 안 보입니다** — 점수만 나오고 이유는 안
나오기 때문입니다.
### 어디서 위험한가
**사람에 대한 판단을 자동화할 때**입니다.
| 용도 | 위험 | 원칙 |
|---|---|---|
| 문장 다듬기, 요약 | 낮음 | 그대로 사용 |
| 고객 문의 분류 | 중간 | 표본 검토 |
| **채용·평가·심사 점수** | **높음** | **사람이 결정, AI는 근거만** |
| **가격·한도 차등** | **높음** | 규제 확인 필수 |
높은 등급에서 AI가 할 수 있는 일은 **점수를 매기는 것이 아니라 사람이 볼 근거를
정리하는 것**입니다. 결정을 내리는 순간 그 결정을 설명해야 할 책임이 따라오는데,
모델은 자기가 왜 그 점수를 줬는지 설명하지 못합니다. 규제 쪽 요구사항은 →
[규제와 컴플라이언스](/guide/ax-compliance)
### 무엇이 듣나
**바꿔서 물어보기**가 가장 값싸고 확실합니다.
```
같은 이력서에서 이름만 바꿔 열 번 넣어보고,
점수가 흔들리는지 봅니다.
```
흔들리면 그 용도로 쓰면 안 됩니다. 이 검사는 한 번 만들어 두면 계속 돌릴 수
있습니다 — 그게 [평가(Evals)](/guide/ai-evaluation)입니다. 품질을 어떻게
정의할지는 [품질 향상](/guide/ax-quality)에서 이어집니다.
## 정리 — 무엇을 물어야 하나
```
환각 의심: "이 출처 실제로 있나?" → 대조
맞장구 의심: "반대로 물어도 같은 답인가?" → 반전
치우침 의심: "속성만 바꿔도 같은 답인가?" → 치환
```
세 질문은 서로 대신하지 못합니다. **출처를 아무리 확인해도 맞장구는 안 걸리고,
반대로 물어봐도 치우침은 안 걸립니다.**
---
## 확인
**1. 맞장구가 환각보다 걸러내기 어려운 이유는?**
답
**답 자체는 사실일 수 있기 때문**입니다. 환각은 출처를 대조하면 드러나지만,
맞장구는 사실인 근거 중에서 내 편인 것만 골라 온 것이라 확인해도 안 나옵니다.
반대로 물어봐야 드러납니다.
**2. AI를 "제2의 의견"으로 쓰는 것이 왜 위험합니까?**
답
내 판단을 먼저 말한 뒤 확인받으면 **검토가 아니라 메아리**를 받게 됩니다.
검토 단계가 하나 늘어난 것이 아니라 **있다고 착각하는 단계가 하나 생긴 것**이라
더 나쁩니다. 의견을 밝히기 전에 판단을 시키고, 반대쪽도 함께 시켜야 합니다.
**3. 채용 이력서 점수 매기기에 모델을 쓸 때의 원칙은?**
답
**점수를 내게 하지 말고 사람이 볼 근거를 정리하게 합니다.** 결정에는 설명 책임이
따라오는데 모델은 자기 점수의 이유를 설명하지 못합니다. 그리고 이름 등 속성만
바꿔 넣어 점수가 흔들리는지 먼저 검사해야 합니다.
---
기억에서 답하지 않게 하는 방법으로 넘어갑니다 →
[도구 사용](/guide/ai-tool-use)