맞장구와 치우침

이 장에서 배우는 것 환각은 없는 것을 만들어냅니다. 이 장의 둘은 다릅니다 — 있는 것 중에서 한쪽으로 기웁니다. 그래서 사실 확인으로는 안 걸립니다. 맞장구(sycophancy)와 치우침(bias)이 어떻게 나타나고 어디서 위험한지 봅니다.

왜 이 둘을 함께 보나

환각은 확인하면 됩니다. 이 둘은 확인해도 안 나옵니다. 각각의 답이 다 사실일 수 있기 때문입니다. 문제는 답이 아니라 고른 방식에 있습니다.

맞장구 — 내 말에 기웁니다

어떻게 생기나

모델은 사람이 더 낫다고 고른 답 쪽으로 다듬어집니다. 그런데 사람은 대체로 동의하는 답, 도움이 되려 애쓰는 답, 내 전제를 받아주는 답을 더 낫다고 고릅니다. 그 선호가 성질로 굳습니다.

"도움이 되려는 성향"과 "동의하려는 성향"은 학습 과정에서 잘 구분되지 않습니다.

어떤 모습인가

같은 문서인데 답이 뒤집혔습니다. 바뀐 것은 문서가 아니라 내가 흘린 선호입니다.

주요 증상 네 가지입니다.

어디서 위험한가

AI를 "제2의 의견"으로 쓸 때입니다. 사람 하나가 판단하고 AI에게 확인받으면 검토를 한 것 같은 느낌이 들지만, 실제로는 자기 판단을 메아리로 되돌려받은 것입니다. 검토 단계가 하나 늘어난 게 아니라, 있다고 착각하는 단계가 하나 생긴 것입니다.

무엇이 듣나

마지막 줄이 조직에서 가장 중요합니다. 만든 쪽과 보는 쪽을 같은 대화에 두면 검토가 안 됩니다. 사람 조직에서 작성자와 결재자를 나누는 이유와 같습니다.

한 번 직접 보고 싶다면 → 같은 일을 세 번 시켜 비교하기

치우침 — 배운 데이터 쪽으로 기웁니다

어떻게 생기나

학습 데이터는 세상에서 온 것이고, 세상의 글은 고르게 쓰이지 않았습니다. 어떤 나라·직업·이름·표현은 훨씬 많이 나오고, 어떤 것은 거의 안 나옵니다. 모델은 그 분포를 그대로 받습니다.

이건 악의가 아니라 평균값입니다. 그런데 평균값은 개인에게 적용될 때 차별이 됩니다.

어떤 모습인가

첫 번째는 눈에 보입니다. 두 번째는 안 보입니다 — 점수만 나오고 이유는 안 나오기 때문입니다.

어디서 위험한가

사람에 대한 판단을 자동화할 때입니다.

높은 등급에서 AI가 할 수 있는 일은 점수를 매기는 것이 아니라 사람이 볼 근거를 정리하는 것입니다. 결정을 내리는 순간 그 결정을 설명해야 할 책임이 따라오는데, 모델은 자기가 왜 그 점수를 줬는지 설명하지 못합니다. 규제 쪽 요구사항은 → 규제와 컴플라이언스

무엇이 듣나

바꿔서 물어보기가 가장 값싸고 확실합니다.

흔들리면 그 용도로 쓰면 안 됩니다. 이 검사는 한 번 만들어 두면 계속 돌릴 수 있습니다 — 그게 평가(Evals)입니다. 품질을 어떻게 정의할지는 품질 향상에서 이어집니다.

정리 — 무엇을 물어야 하나

세 질문은 서로 대신하지 못합니다. 출처를 아무리 확인해도 맞장구는 안 걸리고, 반대로 물어봐도 치우침은 안 걸립니다.

---

확인

1. 맞장구가 환각보다 걸러내기 어려운 이유는?

답

답 자체는 사실일 수 있기 때문입니다. 환각은 출처를 대조하면 드러나지만, 맞장구는 사실인 근거 중에서 내 편인 것만 골라 온 것이라 확인해도 안 나옵니다. 반대로 물어봐야 드러납니다.

2. AI를 "제2의 의견"으로 쓰는 것이 왜 위험합니까?

답

내 판단을 먼저 말한 뒤 확인받으면 검토가 아니라 메아리를 받게 됩니다. 검토 단계가 하나 늘어난 것이 아니라 있다고 착각하는 단계가 하나 생긴 것이라 더 나쁩니다. 의견을 밝히기 전에 판단을 시키고, 반대쪽도 함께 시켜야 합니다.

3. 채용 이력서 점수 매기기에 모델을 쓸 때의 원칙은?

답

점수를 내게 하지 말고 사람이 볼 근거를 정리하게 합니다. 결정에는 설명 책임이 따라오는데 모델은 자기 점수의 이유를 설명하지 못합니다. 그리고 이름 등 속성만 바꿔 넣어 점수가 흔들리는지 먼저 검사해야 합니다.

---

기억에서 답하지 않게 하는 방법으로 넘어갑니다 → 도구 사용