# 왜 그럴듯하게 틀리는가
> **이 장에서 배우는 것**
> 환각이 왜 생기는지 구조적으로, 어떤 상황에서 확률이 높아지는지, 그리고 조직
> 차원에서 어떻게 관리하는지.
## 고장이 아닙니다
[앞 장](/guide/ai-language-model)에서 모델이 하는 일은 **"자연스러운 이어짐을
만드는 것"**이라고 했습니다. 여기서 문제가 따라 나옵니다.
> **"모르겠습니다"는 자연스러운 이어짐이 아닙니다.**
질문 다음에 오는 자연스러운 말은 답입니다. 사람이 쓴 글에서 질문 뒤에 "모르겠다"가
오는 경우보다 답이 오는 경우가 압도적으로 많습니다. 그래서 모델은 **답의 형태를
만듭니다.** 아는 게 없어도 형태는 만들어집니다.
이것이 환각입니다. **버그가 아니라 구조에서 나오는 성질**입니다.
## 어떤 모습으로 나타나나
### 1. 없는 것을 만들어냄
```
나: 이 주제로 참고할 책 3권 알려줘
AI: 1. 『조직을 살리는 데이터 경영』 (김철수, 2021, 한빛출판)
```
제목도 저자도 출판사도 연도도 그럴듯합니다. **찾아보면 없습니다.** 책 추천의
형태를 만든 것입니다.
### 2. 알 수 없는 것에 답함
```
나: 우리 회사 작년 매출이 얼마였지?
AI: 약 47억원입니다.
```
모델은 내 회사를 모릅니다. 그런데 "얼마였지?"에 대한 자연스러운 이어짐은
**숫자**입니다.
### 3. 맞는 것에 틀린 것을 섞음
가장 위험한 형태입니다.
```
나: 근로기준법상 연차 규정 알려줘
AI: 1년 미만 근로자는 1개월 개근 시 1일의 유급휴가가 발생합니다. (맞음)
3년 이상 근속 시 2년마다 1일씩 가산됩니다. (맞음)
단, 5인 미만 사업장은 연차 규정이 전면 적용 제외됩니다. (부정확)
```
**세 줄 중 두 줄이 맞으면 세 번째도 믿게 됩니다.** 전부 틀리면 오히려 의심하는데,
섞이면 안 걸립니다.
## 언제 확률이 높아지나
```mermaid
graph TD
A["환각 확률이 높아지는 조건"] --> B["모델이 모르는 영역
내부 정보 · 최신 사실"]
A --> C["구체적 값을 요구
숫자 · 날짜 · 고유명사"]
A --> D["질문 자체가 잘못된 전제
'그 조항 언제 개정됐죠?'"]
A --> E["길고 복잡한 답을 요구"]
```
**네 번째(잘못된 전제)를 특히 조심해야 합니다.** 없는 조항에 대해 "언제
개정됐냐"고 물으면, 없다고 하기보다 **개정 시점을 만들어냅니다.** 질문이 전제를
깔고 있으면 그 전제를 받아들이는 쪽이 자연스러운 이어짐이기 때문입니다.
## 줄이는 방법 (없앨 수는 없습니다)
| 방법 | 효과 | 한계 |
|---|---|---|
| "모르면 모른다고 해줘"를 덧붙임 | 빈도 감소 | 완전히 없어지지 않음 |
| 근거가 될 자료를 함께 넣음 | **큼** | 자료 안에 답이 있어야 함 |
| 검색·DB 도구를 연결 | **큼** | 구축이 필요 |
| 출처를 함께 요구 | 검증이 쉬워짐 | 출처 자체를 지어낼 수 있음 |
| 두 번 물어 비교 | 불일치 발견 | 비용 두 배 |
**두 번째와 세 번째가 본질적인 해법입니다.** 모델이 모르는 것을 채워 넣게 하지
말고, **자료를 주고 그 안에서 답하게** 하는 것입니다.
```
✗ "근로기준법 연차 규정 알려줘" → 기억에서 생성
✓ "아래 근로기준법 조문에서 연차 관련
내용을 정리해줘. (조문 붙여넣기)" → 주어진 자료에서 추출
```
**두 번째 방식은 환각 확률이 크게 떨어집니다.** 지어낼 필요가 없기 때문입니다.
## 조직 차원에서는 어떻게 다루나
개인은 "확인하면 됩니다". 조직은 그걸로 부족합니다 — **누가 언제 확인하는지를
설계**해야 합니다.
### 위험도로 나누기
| 등급 | 예 | 처리 |
|---|---|---|
| 낮음 | 문장 다듬기, 요약, 분류 | 그대로 사용 |
| 중간 | 초안 작성, 제안 목록 | 담당자 검토 후 사용 |
| **높음** | 금액·날짜·법률·대외 발송 | **사람 승인 필수** |
이 등급을 **업무 흐름에 박아 넣어야** 합니다. "조심하세요"라는 안내로는 안
됩니다. 높은 등급의 경로에는 승인 단계가 구조적으로 들어 있어야 합니다.
### 틀린 걸 알아채는 장치
더 중요한 건 이겁니다. **틀렸을 때 그걸 아는 방법이 있는가?**
```
✗ AI가 입력 → 그대로 반영 → 아무도 모름
✓ AI가 입력 → 담당자 확인 목록에 표시 → 주간 검토
✓ AI가 입력 → 기존 값과 차이가 크면 자동 표시
```
[Phase 3](/guide/ax-phase3-poc)에서 "틀렸을 때 어떻게 아나"를 정하라고 한 게
이것입니다. **틀린 걸 모르면 효과도 못 잽니다.**
## 자주 하는 오해
### "모델이 더 좋아지면 없어지지 않나?"
빈도는 줄어듭니다. 그런데 **구조에서 나오는 성질이라 0이 되지는 않습니다.**
그리고 빈도가 줄면 오히려 방심하게 되어 **걸러내기는 더 어려워질 수 있습니다.**
드물게 틀리는 것이 자주 틀리는 것보다 위험한 경우가 있습니다.
### "그럼 중요한 일에는 못 쓰나?"
쓸 수 있습니다. 다만 **모델이 기억에서 만들어내게 하지 말고, 자료를 주고 그
안에서 답하게** 해야 합니다. 그리고 높은 등급 경로에는 사람 승인을 둡니다.
중요한 일일수록 구조를 갖춰서 쓰는 것입니다.
---
## 확인
**1. 환각이 "고장이 아니다"라는 말의 뜻은?**
답
모델의 일이 **자연스러운 이어짐을 만드는 것**인데, 질문 뒤에 "모르겠습니다"보다
답이 오는 게 훨씬 자연스럽기 때문입니다. 아는 게 없어도 답의 형태는 만들어집니다.
구조에서 나오는 성질이라 없앨 수 없고 관리해야 합니다.
**2. 세 줄 중 두 줄이 맞고 한 줄이 틀린 경우가 왜 가장 위험합니까?**
답
**맞는 내용이 틀린 내용의 신뢰도를 올려주기 때문**입니다. 전부 틀리면 의심하게
되는데, 섞이면 걸러지지 않습니다.
**3. 환각을 근본적으로 줄이는 방법은 무엇입니까?**
답
**기억에서 생성하게 하지 말고 자료를 주고 그 안에서 답하게 하는 것**입니다.
"근로기준법 알려줘"가 아니라 "아래 조문에서 정리해줘"로 바꾸면 지어낼 필요가
없어집니다. 검색·DB 도구 연결도 같은 원리입니다.
---
그 "자료를 주고 도구를 붙이는" 방법이 다음 장입니다 →
[도구 사용](/guide/ai-tool-use)