기계의 네 가지 성질

이 장에서 배우는 것 이 파트는 열 장이 넘습니다. 그 장들이 사실은 네 가지 성질을 하나씩 파고드는 것이라는 지도를 먼저 그립니다. 그리고 능력 목록과 한계 목록을 따로 외우는 것이 왜 헛수고인지 봅니다.

두 개의 목록을 외우지 마세요

AI를 배울 때 흔히 이런 두 목록을 받습니다.

이 두 목록은 외워도 쓸모가 없습니다. 목록에 없는 일을 만나면 판단할 수 없고, 모델이 바뀌면 목록도 바뀌기 때문입니다.

쓸모 있는 것은 그 아래입니다. 왼쪽과 오른쪽은 다른 사실이 아닙니다. 하나의 성질을 양쪽에서 본 것입니다.

번역을 잘하는 이유와 계산을 못하는 이유는 같습니다. 둘 다 "다음에 올 말을 잇는" 기계라서 그렇습니다.

네 가지 성질

각 줄의 왼쪽과 오른쪽은 같은 문장의 앞뒤입니다. 오른쪽을 없애려면 왼쪽도 같이 사라집니다.

graph TD
  A["성질 하나"] --> B["능력 쪽"]
  A --> C["한계 쪽"]
  B --> D["예 — 어떤 문체로든 쓴다"]
  C --> E["예 — 계산을 못한다"]
  D --> F["둘 다 '다음에 올 말을 잇는다'<br/>하나에서 나옵니다"]
  E --> F

1. 이어붙이기 — 답을 찾는 게 아니라 잇습니다

검색창이 아닙니다. 엄청나게 정교한 자동완성입니다. 질문을 받으면 저장고에서 답을 꺼내오는 것이 아니라, 그 질문 다음에 올 법한 말을 한 조각씩 이어붙입니다.

• 자세히 → 언어 모델은 무엇을 하는 기계인가
• 한계 쪽 → 왜 그럴듯하게 틀리는가

2. 배운 지식 — 배운 것만 있고, 배운 때까지만 있습니다

모델 안에 든 지식은 학습 데이터에서 온 것이 전부입니다. 그래서 두 종류의 구멍이 있습니다. 시간의 구멍(학습이 끝난 뒤의 일)과 범위의 구멍(애초에 공개된 적 없는 우리 회사 자료).

두 구멍은 같은 방법으로 메웁니다 — 자료를 주는 것입니다.

• 메우는 법 → 자료를 찾아 붙이기
• 어느 방법을 고를지 → 어떤 학습을 고를까

3. 작업 기억 — 창이 있고, 가장자리가 있습니다

한 번에 볼 수 있는 양이 정해져 있습니다. 자료를 넣는 만큼 잘 답한다는 뜻이기도 하고, 넘치면 앞부터 밀려난다는 뜻이기도 합니다.

밀려남은 경고 없이 일어납니다. 모델은 "잊었습니다"라고 말하지 않고 그냥 채웁니다.

• 창이란 → 컨텍스트 창이란 무엇인가
• 넘칠 때 → 컨텍스트가 밀려날 때
• 창 밖에 남기려면 → 세션을 넘는 기억

4. 지시 반응 — 따르지만, 이해해서 따르는 것은 아닙니다

"표를 쓰지 마세요"라고 하면 표를 안 씁니다. 그런데 세 번째 답에서 다시 표가 나오기도 합니다. 지시를 뜻으로 이해해 지키는 것이 아니라, 지시가 있는 글의 이어짐을 만드는 것이기 때문입니다.

• 자세히 → 지시가 그대로 먹지 않는 이유
• 잘 적는 법 → 좋은 지시의 네 가지 요소

성질이 겹칠 때 — 실패는 대개 하나가 아닙니다

현장에서 만나는 사고는 성질 하나로 설명되지 않습니다. 둘이 겹칩니다.

밀려남만으로는 사고가 안 납니다. 밀려난 자리를 이어붙이기가 메우기 때문에 사고가 됩니다. 그래서 대처도 둘입니다 — 창을 관리하고(제약을 다시 적기), 근거를 요구합니다(조항 원문을 함께 인용하게 하기).

진단은 "왜 틀렸지?"가 아니라 "어느 성질이 겹쳤지?"로 시작합니다. 성질을 지목하면 대처가 따라 나옵니다.

이 성질들은 없앨 수 있나

없앨 수 없습니다. 줄일 수 있습니다.

이 파트의 나머지 장은 전부 "그 자리에 무엇을 대는가"입니다.

확인

1. 능력 목록과 한계 목록을 따로 외우는 것이 왜 헛수고입니까?

2. "밀려남만으로는 사고가 안 난다"는 말의 뜻은?

3. 모델이 좋아지면 이 네 성질이 사라집니까?

첫 번째 성질부터 자세히 봅니다 → 언어 모델은 무엇을 하는 기계인가