왜 그럴듯하게 틀리는가

이 장에서 배우는 것 환각이 왜 생기는지 구조적으로, 어떤 상황에서 확률이 높아지는지, 그리고 조직 차원에서 어떻게 관리하는지.

고장이 아닙니다

앞 장에서 모델이 하는 일은 "자연스러운 이어짐을 만드는 것"이라고 했습니다. 여기서 문제가 따라 나옵니다.

"모르겠습니다"는 자연스러운 이어짐이 아닙니다.

질문 다음에 오는 자연스러운 말은 답입니다. 사람이 쓴 글에서 질문 뒤에 "모르겠다"가 오는 경우보다 답이 오는 경우가 압도적으로 많습니다. 그래서 모델은 답의 형태를 만듭니다. 아는 게 없어도 형태는 만들어집니다.

이것이 환각입니다. 버그가 아니라 구조에서 나오는 성질입니다.

어떤 모습으로 나타나나

1. 없는 것을 만들어냄

제목도 저자도 출판사도 연도도 그럴듯합니다. 찾아보면 없습니다. 책 추천의 형태를 만든 것입니다.

2. 알 수 없는 것에 답함

모델은 내 회사를 모릅니다. 그런데 "얼마였지?"에 대한 자연스러운 이어짐은 숫자입니다.

3. 맞는 것에 틀린 것을 섞음

가장 위험한 형태입니다.

세 줄 중 두 줄이 맞으면 세 번째도 믿게 됩니다. 전부 틀리면 오히려 의심하는데, 섞이면 안 걸립니다.

언제 확률이 높아지나

graph TD
  A["환각 확률이 높아지는 조건"] --> B["모델이 모르는 영역<br/>내부 정보 · 최신 사실"]
  A --> C["구체적 값을 요구<br/>숫자 · 날짜 · 고유명사"]
  A --> D["질문 자체가 잘못된 전제<br/>'그 조항 언제 개정됐죠?'"]
  A --> E["길고 복잡한 답을 요구"]

네 번째(잘못된 전제)를 특히 조심해야 합니다. 없는 조항에 대해 "언제 개정됐냐"고 물으면, 없다고 하기보다 개정 시점을 만들어냅니다. 질문이 전제를 깔고 있으면 그 전제를 받아들이는 쪽이 자연스러운 이어짐이기 때문입니다.

줄이는 방법 (없앨 수는 없습니다)

두 번째와 세 번째가 본질적인 해법입니다. 모델이 모르는 것을 채워 넣게 하지 말고, 자료를 주고 그 안에서 답하게 하는 것입니다.

두 번째 방식은 환각 확률이 크게 떨어집니다. 지어낼 필요가 없기 때문입니다.

조직 차원에서는 어떻게 다루나

개인은 "확인하면 됩니다". 조직은 그걸로 부족합니다 — 누가 언제 확인하는지를 설계해야 합니다.

위험도로 나누기

이 등급을 업무 흐름에 박아 넣어야 합니다. "조심하세요"라는 안내로는 안 됩니다. 높은 등급의 경로에는 승인 단계가 구조적으로 들어 있어야 합니다.

틀린 걸 알아채는 장치

더 중요한 건 이겁니다. 틀렸을 때 그걸 아는 방법이 있는가?

Phase 3에서 "틀렸을 때 어떻게 아나"를 정하라고 한 게 이것입니다. 틀린 걸 모르면 효과도 못 잽니다.

자주 하는 오해

"모델이 더 좋아지면 없어지지 않나?"

빈도는 줄어듭니다. 그런데 구조에서 나오는 성질이라 0이 되지는 않습니다. 그리고 빈도가 줄면 오히려 방심하게 되어 걸러내기는 더 어려워질 수 있습니다. 드물게 틀리는 것이 자주 틀리는 것보다 위험한 경우가 있습니다.

"그럼 중요한 일에는 못 쓰나?"

쓸 수 있습니다. 다만 모델이 기억에서 만들어내게 하지 말고, 자료를 주고 그 안에서 답하게 해야 합니다. 그리고 높은 등급 경로에는 사람 승인을 둡니다. 중요한 일일수록 구조를 갖춰서 쓰는 것입니다.

확인

1. 환각이 "고장이 아니다"라는 말의 뜻은?

2. 세 줄 중 두 줄이 맞고 한 줄이 틀린 경우가 왜 가장 위험합니까?

3. 환각을 근본적으로 줄이는 방법은 무엇입니까?

그 "자료를 주고 도구를 붙이는" 방법이 다음 장입니다 → 도구 사용