이 장에서 배우는 것 AI의 한계 세 가지와, 무엇을 반드시 확인해야 하는지 판단하는 기준.
이 장은 겁주려는 게 아닙니다. 어디까지 믿어도 되는지 알면 오히려 더 편하게 쓸 수 있습니다. 자동차의 사각지대를 알아야 안심하고 운전하는 것과 같습니다.
가장 중요한 한계입니다.
AI는 모르는 것을 만나도 "모르겠습니다"라고 하지 않고 그럴듯한 말을 만들어낼 때가 있습니다. 이걸 흔히 환각이라고 부릅니다.
문제는 틀린 답이 맞는 답과 똑같이 자신 있게 나온다는 것입니다. 말투로는 구분이 안 됩니다.
AI는 내 회사 매출을 알 수가 없습니다. 그런데 숫자가 나왔습니다. 질문에 답하는 형태를 만들다 보니 그럴듯한 숫자를 넣은 것입니다.
이런 경우도 있습니다.
존재하지 않는 책일 수 있습니다. 제목도 저자도 연도도 그럴듯하지만 실제로 찾아보면 없습니다.
AI가 무엇인가에서 AI를 "다음에 올 말을 잘 맞히는 프로그램"이라고 했습니다. "모르겠다"보다 그럴듯한 답이 더 자연스러운 이어짐이라, 그쪽으로 갈 때가 있습니다.
| 이런 것은 | 이렇게 |
|---|---|
| 숫자, 날짜, 통계 | 반드시 확인 |
| 사람 이름, 책·논문 제목, 법 조항 | 반드시 확인 |
| 우리 회사 내부 정보 | 애초에 모릅니다. 내가 알려줘야 합니다 |
| 글 다듬기, 요약, 번역 | 대체로 안심 (내가 준 내용을 다루므로) |
| 아이디어 제안 | 안심 (어차피 내가 고름) |
요령: 내가 준 내용을 가공하는 일은 안전하고, AI가 없는 정보를 채워 넣어야 하는 일은 위험합니다.
한 가지 방법 "확실하지 않으면 모른다고 말해줘"를 덧붙이면 지어내는 빈도가 줄어듭니다. 완전히 없어지지는 않습니다.
AI는 특정 시점까지의 자료로 만들어집니다. 그 이후에 벌어진 일은 모릅니다.
다만 도구가 연결된 AI는 다릅니다. 검색이나 사내 자료를 직접 찾아볼 수 있게 연결하면 최신 정보로 답할 수 있습니다. 그게 나중에 다룰 도구입니다. 지금 단계에서는 "기본적으로는 모른다"고 생각하시면 됩니다.
대화창에 넣은 내용이 어디로 가는지 알아야 합니다. 서비스마다 다릅니다.
특히 조심할 것들입니다.
1. 회사 방침을 먼저 확인하세요. 이미 정해둔 규칙이 있을 수 있습니다.
2. 필요 없는 정보는 지우고 넣으세요. 계약서를 검토받고 싶다면 회사명과 담당자 이름은 지워도 됩니다. 조항 내용만 있으면 검토가 됩니다.
3. 업무용으로 쓸 거면 업무용 환경에서 쓰세요. 개인 계정과 회사가 계약한 환경은 데이터 취급이 다릅니다. 폐쇄망 환경이 필요한 경우도 있습니다.
4. 대화가 학습에 쓰이는지 확인하고, 끌 수 있으면 끄세요. 서비스에 따라 내가 넣은 대화가 모델을 더 학습시키는 데 쓰일 수 있습니다. 대부분 설정 어딘가에 켜고 끄는 항목이 있습니다.
기본값은 서비스마다, 요금제마다 다릅니다. 개인 요금제는 켜져 있고 회사가 계약한 환경은 꺼져 있는 쪽이 흔합니다. 그래서 "회사가 계약했으니 괜찮다"와 "내 개인 계정도 마찬가지겠지"는 서로 다른 이야기입니다.
가입하고 나서 한 번만 하면 됩니다. 다만 이미 넣은 대화까지 되돌려주지는 않는 경우가 많으니 순서가 중요합니다 — 끄고 나서 회사 자료를 넣으세요.
한 가지 질문으로 정리됩니다.
이게 틀렸으면 무슨 일이 생기나?
HyperTeamsgraph TD
A["AI 답을 받았다"] --> B{"틀리면 무슨 일이?"}
B -->|"다시 하면 됨"| C["그냥 쓴다<br/>글 다듬기 · 아이디어 · 요약"]
B -->|"돈·신뢰·법이 걸림"| D["반드시 확인<br/>숫자 · 대외 문서 · 규정"]이 기준은 나중에 조직 차원에서도 그대로 쓰입니다 — 어디에 사람 승인을 둘지 정하는 기준이 바로 이것입니다.
초안을 만드는 일과 최종 판단을 나눠 생각하시면 됩니다. AI는 앞을 맡고 사람이 뒤를 맡습니다. 백지에서 시작하는 것보다 초안을 고치는 게 훨씬 빠르고, 그 시간 이득이 확인하는 비용보다 큽니다.
그렇다면 그 일에는 안 쓰는 게 맞습니다. 모든 일에 쓸 필요는 없습니다. 확인 비용이 작성 비용보다 큰 일이라면 직접 하는 게 낫습니다.
이 판단이 중요한 이유는 나중에 조직 단위에서 같은 실수가 반복되기 때문입니다 — 전환이 실패하는 방식의 세 번째가 정확히 이 경우입니다.
1. AI가 "우리 회사 작년 매출은 47억원입니다"라고 답했습니다. 무엇이 문제입니까?
AI는 내 회사 매출을 알 수가 없습니다. 그런데 "모른다" 대신 그럴듯한 숫자를 만들어냈습니다. 이것이 환각이고, 틀린 답도 맞는 답과 똑같이 자신 있게 나오기 때문에 말투로는 구분되지 않습니다.
2. 안전한 사용과 위험한 사용을 가르는 기준은 무엇입니까?
내가 준 내용을 가공하는 일은 안전하고(요약·번역·다듬기), AI가 없는 정보를 채워 넣어야 하는 일은 위험합니다(숫자, 출처, 사실 확인).
3. 확인이 필요한지 판단하는 한 가지 질문은 무엇입니까?
"이게 틀렸으면 무슨 일이 생기나?" 다시 하면 되는 정도면 그냥 쓰고, 돈·신뢰·법이 걸리면 반드시 확인합니다.
「AI가 처음이라면」을 마치셨습니다. 이제 이런 상태이실 겁니다.
여기까지가 혼자 쓸 때 알아야 할 것입니다. 이제 이 네 장이 전체의 어디쯤인지, 그리고 남에게 나갈 때 무엇이 더 필요한지 지도를 봅니다 → 맡기고 · 말하고 · 살피고 · 책임지기
나: 우리 회사 2023년 매출이 얼마였지?AI: 2023년 매출은 약 47억원입니다.나: 이 주제로 참고할 만한 책 3권 알려줘AI: 1. 『조직을 살리는 데이터 경영』 (김철수, 2021) 2. ...나: 오늘 환율 알려줘AI: (모르거나, 예전 값을 말하거나, 지어냄)(그대로 넣기) "㈜한빛산업 김영수 대표는..."(지우고 넣기) "갑은..."설정에서 이런 이름으로 있습니다: "모델 개선에 도움 주기" "데이터 관리" "학습에 활용"