조심할 것

이 장에서 배우는 것 AI의 한계 세 가지와, 무엇을 반드시 확인해야 하는지 판단하는 기준.

이 장은 겁주려는 게 아닙니다. 어디까지 믿어도 되는지 알면 오히려 더 편하게 쓸 수 있습니다. 자동차의 사각지대를 알아야 안심하고 운전하는 것과 같습니다.

한계 1 — 그럴듯하게 지어냅니다

가장 중요한 한계입니다.

무슨 일이 벌어지나

AI는 모르는 것을 만나도 "모르겠습니다"라고 하지 않고 그럴듯한 말을 만들어낼 때가 있습니다. 이걸 흔히 환각이라고 부릅니다.

문제는 틀린 답이 맞는 답과 똑같이 자신 있게 나온다는 것입니다. 말투로는 구분이 안 됩니다.

실제로 이렇게 생깁니다

AI는 내 회사 매출을 알 수가 없습니다. 그런데 숫자가 나왔습니다. 질문에 답하는 형태를 만들다 보니 그럴듯한 숫자를 넣은 것입니다.

이런 경우도 있습니다.

존재하지 않는 책일 수 있습니다. 제목도 저자도 연도도 그럴듯하지만 실제로 찾아보면 없습니다.

왜 이런 일이 생기나

AI가 무엇인가에서 AI를 "다음에 올 말을 잘 맞히는 프로그램"이라고 했습니다. "모르겠다"보다 그럴듯한 답이 더 자연스러운 이어짐이라, 그쪽으로 갈 때가 있습니다.

어떻게 대처하나

요령: 내가 준 내용을 가공하는 일은 안전하고, AI가 없는 정보를 채워 넣어야 하는 일은 위험합니다.

한 가지 방법 "확실하지 않으면 모른다고 말해줘"를 덧붙이면 지어내는 빈도가 줄어듭니다. 완전히 없어지지는 않습니다.

한계 2 — 최신 정보를 모를 수 있습니다

무슨 일이 벌어지나

AI는 특정 시점까지의 자료로 만들어집니다. 그 이후에 벌어진 일은 모릅니다.

어떻게 대처하나

• 오늘의 사실(환율, 날씨, 뉴스, 주가) → 검색이 맞습니다
• 최근 바뀐 규정이나 제도 → 확인 필요
• 잘 안 바뀌는 것(엑셀 함수 사용법, 글쓰기, 일반 상식) → 괜찮습니다

다만 도구가 연결된 AI는 다릅니다. 검색이나 사내 자료를 직접 찾아볼 수 있게 연결하면 최신 정보로 답할 수 있습니다. 그게 나중에 다룰 도구입니다. 지금 단계에서는 "기본적으로는 모른다"고 생각하시면 됩니다.

한계 3 — 회사 정보를 넣기 전에

무엇을 조심하나

대화창에 넣은 내용이 어디로 가는지 알아야 합니다. 서비스마다 다릅니다.

특히 조심할 것들입니다.

• 고객 개인정보 (이름, 연락처, 주민번호, 카드번호)
• 계약서, 미공개 재무 자료
• 비밀번호, API 키, 접속 정보
• 아직 발표하지 않은 사업 계획

어떻게 대처하나

1. 회사 방침을 먼저 확인하세요. 이미 정해둔 규칙이 있을 수 있습니다.

2. 필요 없는 정보는 지우고 넣으세요. 계약서를 검토받고 싶다면 회사명과 담당자 이름은 지워도 됩니다. 조항 내용만 있으면 검토가 됩니다.

3. 업무용으로 쓸 거면 업무용 환경에서 쓰세요. 개인 계정과 회사가 계약한 환경은 데이터 취급이 다릅니다. 폐쇄망 환경이 필요한 경우도 있습니다.

4. 대화가 학습에 쓰이는지 확인하고, 끌 수 있으면 끄세요. 서비스에 따라 내가 넣은 대화가 모델을 더 학습시키는 데 쓰일 수 있습니다. 대부분 설정 어딘가에 켜고 끄는 항목이 있습니다.

기본값은 서비스마다, 요금제마다 다릅니다. 개인 요금제는 켜져 있고 회사가 계약한 환경은 꺼져 있는 쪽이 흔합니다. 그래서 "회사가 계약했으니 괜찮다"와 "내 개인 계정도 마찬가지겠지"는 서로 다른 이야기입니다.

가입하고 나서 한 번만 하면 됩니다. 다만 이미 넣은 대화까지 되돌려주지는 않는 경우가 많으니 순서가 중요합니다 — 끄고 나서 회사 자료를 넣으세요.

그래서 언제 확인해야 하나

한 가지 질문으로 정리됩니다.

이게 틀렸으면 무슨 일이 생기나?

graph TD
  A["AI 답을 받았다"] --> B{"틀리면 무슨 일이?"}
  B -->|"다시 하면 됨"| C["그냥 쓴다<br/>글 다듬기 · 아이디어 · 요약"]
  B -->|"돈·신뢰·법이 걸림"| D["반드시 확인<br/>숫자 · 대외 문서 · 규정"]

• 메일 초안 문구가 어색하다 → 고치면 됩니다. 그냥 씁니다.
• 고객에게 보낼 금액이 틀렸다 → 사고입니다. 반드시 확인합니다.

이 기준은 나중에 조직 차원에서도 그대로 쓰입니다 — 어디에 사람 승인을 둘지 정하는 기준이 바로 이것입니다.

자주 하는 질문

"이렇게 못 믿을 거면 왜 씁니까?"

초안을 만드는 일과 최종 판단을 나눠 생각하시면 됩니다. AI는 앞을 맡고 사람이 뒤를 맡습니다. 백지에서 시작하는 것보다 초안을 고치는 게 훨씬 빠르고, 그 시간 이득이 확인하는 비용보다 큽니다.

"확인하는 게 더 오래 걸리는데요?"

그렇다면 그 일에는 안 쓰는 게 맞습니다. 모든 일에 쓸 필요는 없습니다. 확인 비용이 작성 비용보다 큰 일이라면 직접 하는 게 낫습니다.

이 판단이 중요한 이유는 나중에 조직 단위에서 같은 실수가 반복되기 때문입니다 — 전환이 실패하는 방식의 세 번째가 정확히 이 경우입니다.

확인

1. AI가 "우리 회사 작년 매출은 47억원입니다"라고 답했습니다. 무엇이 문제입니까?

2. 안전한 사용과 위험한 사용을 가르는 기준은 무엇입니까?

3. 확인이 필요한지 판단하는 한 가지 질문은 무엇입니까?

여기까지가 개인 사용입니다

「AI가 처음이라면」을 마치셨습니다. 이제 이런 상태이실 겁니다.

• AI가 무엇인지, 검색과 어떻게 다른지 안다
• 내 업무에서 무엇에 쓸 수 있는지 안다
• 직접 써봤고, 원하는 답을 얻는 요령을 안다
• 어디까지 믿어도 되는지 안다

다음 파트부터 이야기가 조직으로 넘어갑니다. 한 사람이 잘 쓰는 것과 회사의 일하는 방식이 바뀌는 것은 다른 문제라 대부분의 조직이 그 사이에서 멈춥니다. 넘어가기 전에 지금까지 나온 말들을 한 장으로 정리해 둡니다 → 용어집