# 조심할 것
> **이 장에서 배우는 것**
> AI의 한계 세 가지와, 무엇을 반드시 확인해야 하는지 판단하는 기준.
이 장은 겁주려는 게 아닙니다. **어디까지 믿어도 되는지 알면 오히려 더 편하게
쓸 수 있습니다.** 자동차의 사각지대를 알아야 안심하고 운전하는 것과 같습니다.
---
## 한계 1 — 그럴듯하게 지어냅니다
가장 중요한 한계입니다.
### 무슨 일이 벌어지나
AI는 모르는 것을 만나도 **"모르겠습니다"라고 하지 않고 그럴듯한 말을 만들어낼
때가 있습니다.** 이걸 흔히 **환각**이라고 부릅니다.
문제는 **틀린 답이 맞는 답과 똑같이 자신 있게** 나온다는 것입니다. 말투로는
구분이 안 됩니다.
### 실제로 이렇게 생깁니다
```
나: 우리 회사 2023년 매출이 얼마였지?
AI: 2023년 매출은 약 47억원입니다.
```
AI는 **내 회사 매출을 알 수가 없습니다.** 그런데 숫자가 나왔습니다. 질문에
답하는 형태를 만들다 보니 그럴듯한 숫자를 넣은 것입니다.
이런 경우도 있습니다.
```
나: 이 주제로 참고할 만한 책 3권 알려줘
AI: 1. 『조직을 살리는 데이터 경영』 (김철수, 2021)
2. ...
```
**존재하지 않는 책일 수 있습니다.** 제목도 저자도 연도도 그럴듯하지만 실제로
찾아보면 없습니다.
### 왜 이런 일이 생기나
[AI가 무엇인가](/guide/ai-what-is-it)에서 AI를 "다음에 올 말을 잘 맞히는 프로그램"이라고
했습니다. **"모르겠다"보다 그럴듯한 답이 더 자연스러운 이어짐**이라, 그쪽으로
갈 때가 있습니다.
### 어떻게 대처하나
| 이런 것은 | 이렇게 |
|---|---|
| 숫자, 날짜, 통계 | **반드시 확인** |
| 사람 이름, 책·논문 제목, 법 조항 | **반드시 확인** |
| 우리 회사 내부 정보 | 애초에 모릅니다. 내가 알려줘야 합니다 |
| 글 다듬기, 요약, 번역 | 대체로 안심 (내가 준 내용을 다루므로) |
| 아이디어 제안 | 안심 (어차피 내가 고름) |
**요령**: 내가 준 내용을 가공하는 일은 안전하고, **AI가 없는 정보를 채워 넣어야
하는 일은 위험합니다.**
> **한 가지 방법**
> "확실하지 않으면 모른다고 말해줘"를 덧붙이면 지어내는 빈도가 줄어듭니다.
> 완전히 없어지지는 않습니다.
---
## 한계 2 — 최신 정보를 모를 수 있습니다
### 무슨 일이 벌어지나
AI는 특정 시점까지의 자료로 만들어집니다. 그 이후에 벌어진 일은 모릅니다.
```
나: 오늘 환율 알려줘
AI: (모르거나, 예전 값을 말하거나, 지어냄)
```
### 어떻게 대처하나
- **오늘의 사실**(환율, 날씨, 뉴스, 주가) → 검색이 맞습니다
- **최근 바뀐 규정이나 제도** → 확인 필요
- **잘 안 바뀌는 것**(엑셀 함수 사용법, 글쓰기, 일반 상식) → 괜찮습니다
다만 **도구가 연결된 AI는 다릅니다.** 검색이나 사내 자료를 직접 찾아볼 수 있게
연결하면 최신 정보로 답할 수 있습니다. 그게 나중에 다룰
[도구](/guide/mcp-why-standard)입니다. 지금 단계에서는 "기본적으로는 모른다"고
생각하시면 됩니다.
---
## 한계 3 — 회사 정보를 넣기 전에
### 무엇을 조심하나
대화창에 넣은 내용이 **어디로 가는지** 알아야 합니다. 서비스마다 다릅니다.
특히 조심할 것들입니다.
- 고객 개인정보 (이름, 연락처, 주민번호, 카드번호)
- 계약서, 미공개 재무 자료
- 비밀번호, API 키, 접속 정보
- 아직 발표하지 않은 사업 계획
### 어떻게 대처하나
**1. 회사 방침을 먼저 확인하세요.** 이미 정해둔 규칙이 있을 수 있습니다.
**2. 필요 없는 정보는 지우고 넣으세요.** 계약서를 검토받고 싶다면 회사명과
담당자 이름은 지워도 됩니다. 조항 내용만 있으면 검토가 됩니다.
```
(그대로 넣기) "㈜한빛산업 김영수 대표는..."
(지우고 넣기) "갑은..."
```
**3. 업무용으로 쓸 거면 업무용 환경에서 쓰세요.** 개인 계정과 회사가 계약한
환경은 데이터 취급이 다릅니다. 폐쇄망 환경이 필요한 경우도 있습니다.
**4. 대화가 학습에 쓰이는지 확인하고, 끌 수 있으면 끄세요.** 서비스에 따라 내가
넣은 대화가 **모델을 더 학습시키는 데 쓰일 수 있습니다.** 대부분 설정 어딘가에
켜고 끄는 항목이 있습니다.
```
설정에서 이런 이름으로 있습니다:
"모델 개선에 도움 주기"
"데이터 관리"
"학습에 활용"
```
**기본값은 서비스마다, 요금제마다 다릅니다.** 개인 요금제는 켜져 있고 회사가
계약한 환경은 꺼져 있는 쪽이 흔합니다. 그래서 "회사가 계약했으니 괜찮다"와 "내
개인 계정도 마찬가지겠지"는 서로 다른 이야기입니다.
> **가입하고 나서 한 번만 하면 됩니다.** 다만 이미 넣은 대화까지 되돌려주지는
> 않는 경우가 많으니 순서가 중요합니다 — **끄고 나서 회사 자료를 넣으세요.**
---
## 그래서 언제 확인해야 하나
한 가지 질문으로 정리됩니다.
> **이게 틀렸으면 무슨 일이 생기나?**
```mermaid
graph TD
A["AI 답을 받았다"] --> B{"틀리면 무슨 일이?"}
B -->|"다시 하면 됨"| C["그냥 쓴다
글 다듬기 · 아이디어 · 요약"]
B -->|"돈·신뢰·법이 걸림"| D["반드시 확인
숫자 · 대외 문서 · 규정"]
```
- 메일 초안 문구가 어색하다 → 고치면 됩니다. **그냥 씁니다.**
- 고객에게 보낼 금액이 틀렸다 → 사고입니다. **반드시 확인합니다.**
이 기준은 나중에 조직 차원에서도 그대로 쓰입니다 — 어디에 사람 승인을 둘지
정하는 기준이 바로 이것입니다.
## 자주 하는 질문
### "이렇게 못 믿을 거면 왜 씁니까?"
**초안을 만드는 일**과 **최종 판단**을 나눠 생각하시면 됩니다. AI는 앞을 맡고
사람이 뒤를 맡습니다. 백지에서 시작하는 것보다 초안을 고치는 게 훨씬 빠르고,
그 시간 이득이 확인하는 비용보다 큽니다.
### "확인하는 게 더 오래 걸리는데요?"
그렇다면 **그 일에는 안 쓰는 게 맞습니다.** 모든 일에 쓸 필요는 없습니다.
확인 비용이 작성 비용보다 큰 일이라면 직접 하는 게 낫습니다.
이 판단이 중요한 이유는 나중에 조직 단위에서 같은 실수가 반복되기 때문입니다 —
[전환이 실패하는 방식](/guide/ax-failure-modes)의 세 번째가 정확히 이 경우입니다.
---
## 확인
**1. AI가 "우리 회사 작년 매출은 47억원입니다"라고 답했습니다. 무엇이 문제입니까?**
답
AI는 **내 회사 매출을 알 수가 없습니다.** 그런데 "모른다" 대신 그럴듯한 숫자를
만들어냈습니다. 이것이 환각이고, 틀린 답도 맞는 답과 똑같이 자신 있게 나오기
때문에 말투로는 구분되지 않습니다.
**2. 안전한 사용과 위험한 사용을 가르는 기준은 무엇입니까?**
답
**내가 준 내용을 가공하는 일은 안전하고**(요약·번역·다듬기), **AI가 없는 정보를
채워 넣어야 하는 일은 위험합니다**(숫자, 출처, 사실 확인).
**3. 확인이 필요한지 판단하는 한 가지 질문은 무엇입니까?**
답
**"이게 틀렸으면 무슨 일이 생기나?"** 다시 하면 되는 정도면 그냥 쓰고, 돈·신뢰·법이
걸리면 반드시 확인합니다.
---
## 여기까지가 개인 사용입니다
「AI가 처음이라면」을 마치셨습니다. 이제 이런 상태이실 겁니다.
- AI가 무엇인지, 검색과 어떻게 다른지 안다
- 내 업무에서 무엇에 쓸 수 있는지 안다
- 직접 써봤고, 원하는 답을 얻는 요령을 안다
- 어디까지 믿어도 되는지 안다
**다음 파트부터 이야기가 조직으로 넘어갑니다.** 한
사람이 잘 쓰는 것과 회사의 일하는 방식이 바뀌는 것은 다른 문제라 대부분의 조직이
그 사이에서 멈춥니다. 넘어가기 전에 지금까지 나온 말들을 한 장으로 정리해 둡니다 →
[용어집](/guide/glossary)