어떤 학습을 고를까

이 장에서 배우는 것 AI를 "더 잘하게" 만드는 네 가지 방법이 각각 무엇을 바꾸고 어디에 남는지, 그리고 어떤 순서로 골라야 돈과 시간을 안 버리는지.

네 가지 선택지

경영진 회의에서 거의 반드시 나오는 문장이 있습니다.

"우리 데이터로 모델을 학습시키면 되는 거 아닙니까?"

가능은 합니다. 다만 그 문장은 네 가지 중 가장 비싼 하나를 고르겠다는 말입니다. 넷이 각각 무엇을 바꾸는지부터 나눠야 그게 보입니다.

맨 아랫줄만 성격이 다릅니다.

파인튜닝은 사실을 집어넣는 도구가 아닙니다.

파인튜닝으로 "우리 반품 정책은 30일"을 가르쳐도, 정책이 14일로 바뀌면 다시 학습시켜야 합니다. 그동안 모델은 확신에 차서 30일이라고 답합니다. 반면 자료 붙이기는 문서 한 줄만 고치면 끝입니다.

넷 다 학습입니다 — 어디에 남느냐가 다릅니다

"학습"을 파인튜닝만 가리키는 말로 쓰면 나머지 셋이 임시방편처럼 들립니다. 그렇지 않습니다. 넷 다 다음번에 더 잘하게 만드는 일이고, 다른 것은 무엇이 어디에 남느냐입니다.

자료에 남는 것도 학습입니다

RAG 를 처음 제안한 논문이 이 방식을 비모수적 기억(non-parametric memory)이라 부릅니다 — 가중치(모수) 안에 넣는 대신 밖에 두고 필요할 때 꺼내는 기억이라는 뜻입니다. 문서를 하나 넣으면 그다음 질문부터 시스템이 아는 것이 늘어납니다. 학습이 맞고, 다만 모델이 아니라 저장소가 배웁니다.

지시도 그렇습니다. 예시를 붙여 행동을 바꾸는 것을 인컨텍스트 러닝이라 하고, GPT-3 논문 제목이 아예 Language Models are Few-Shot Learners 입니다. 다만 이쪽은 대화가 끝나면 사라집니다.

도구와 절차 — 조직이 가장 많이 쌓는 쪽

도구를 붙이고, 절차를 스킬로 담고, 평가로 기준을 만들고, 가드레일로 승인 지점을 정하는 일입니다. 컨텍스트 엔지니어링·하네스 엔지니어링 같은 이름으로 불리지만 아직 하나로 굳지 않았습니다.

그리고 이쪽은 모델을 갈아타도 그대로 남습니다. 현장에서 "우리 AI가 똑똑해졌다"고 느끼는 것의 대부분이 여기이고, 정작 좋아진 것은 모델이 아니라 그 둘레에 쌓인 것입니다.

가중치에 남는 것

맨 아랫줄의 셋 중 앞의 둘은 모델 만드는 회사가 이미 끝냈습니다. 특히 사전학습에서 능력의 대부분이 정해지고, 우리는 그것을 다시 하지 않습니다. "우리 데이터로 학습시키자"가 뜻하는 것은 파인튜닝 한 칸입니다.

그래서 파인튜닝으로 바꿀 수 있는 것도 얇습니다. 말투와 출력 형식은 바뀌지만, 모델이 세상을 이해하는 방식은 사전학습에서 이미 정해졌습니다. "우리 회사 것으로 다시 가르친다"가 아니라 이미 다 배운 사람에게 우리 회사 문서 양식을 알려주는 쪽에 가깝습니다.

틀렸을 때 치르는 값이 다릅니다

넷을 굳이 나누는 실무적인 이유가 이것입니다.

맨 아랫줄이 이 장 전체가 하려는 말입니다. 되돌리기가 가장 비싼 칸을 가장 먼저 집는 것이 가장 흔한 실수입니다.

고르는 순서

graph TD
  A["무엇이 문제인가"] --> T{"닿을 데가 없어서인가?<br/>(사내 시스템 · 지금 값)"}
  T -->|"예"| TT["도구를 붙인다"]
  T -->|"아니오"| B{"자료를 몰라서인가?"}
  B -->|"예"| C{"자료가 적은가?<br/>(문서 몇 개 수준)"}
  C -->|"예"| D["그냥 프롬프트에 붙인다"]
  C -->|"아니오"| E["자료 붙이기(RAG)"]
  B -->|"아니오"| F{"말투·형식이 안 맞아서인가?"}
  F -->|"예"| G{"지시로 안 되나?"}
  G -->|"된다"| H["지시를 고친다"]
  G -->|"계속 흐트러진다"| I["파인튜닝 검토"]
  F -->|"아니오"| J["평가부터 만든다"]

위에서부터 순서대로 내려가는 게 규칙입니다. 아래로 갈수록 비용과 되돌리기 어려움이 급격히 커집니다.

"지시로 안 되나"를 먼저 확인하세요

파인튜닝 프로젝트가 시작되는 가장 흔한 이유는 지시를 제대로 안 써봤기 때문입니다. 좋은 지시의 네 가지 요소와 예시 3~5개를 붙여보고, 그래도 원하는 형식이 계속 흐트러질 때 비로소 다음 단계입니다.

판단 기준: 예시 다섯 개를 붙였을 때 결과가 눈에 띄게 좋아지면, 그건 파인튜닝이 아니라 지시로 풀 문제입니다.

파인튜닝이 정말 맞는 두 가지 경우

1. 말투·형식을 못 놓치게 고정할 때

법무 검토 의견서, 규제 보고서처럼 형식이 조금만 틀어져도 반려되는 산출물이 있습니다. 지시로 붙잡으면 10번 중 8~9번은 맞지만 나머지가 흔들립니다. 그 나머지가 비싼 영역이면 가중치에 고정할 값이 있습니다.

2. 큰 모델의 실력을 작은 모델로 옮길 때

비용과 속도가 목적입니다. 큰 모델로 잘 되는 작업이 있는데 하루에 수만 건을 돌려야 한다면, 그 결과를 학습 데이터로 삼아 작은 모델을 훈련시킵니다. 같은 품질을 훨씬 싸게 얻는 방법입니다.

두 경우 모두 "사실을 넣는 것"이 목적이 아니라는 점을 눈여겨보세요.

실무에서는 넷을 섞어 씁니다

잘 굴러가는 시스템은 넷 중 하나를 고른 게 아니라 역할을 나눠 준 것입니다.

자주 하는 오해

"RAG는 임시방편이고 파인튜닝이 제대로 된 방법 아닌가요?"

반대에 가깝습니다. 지식이 필요한 업무의 대부분은 검색으로 풀립니다. 파인튜닝은 나머지 셋으로 못 닫히는 구체적이고 증명된 간극이 있을 때 꺼내는 도구입니다. 간극을 특정하지 못한 채 시작한 파인튜닝은 거의 실패합니다.

"학습 데이터가 얼마나 필요합니까?"

말투·형식 고정이라면 잘 고른 예시 수백 건으로도 시작합니다. 다만 여기서 비용은 GPU가 아니라 그 예시를 만들고 검수하는 사람의 시간입니다. 그 시간을 검색 품질에 쓰면 대개 더 큰 효과가 납니다.

확인

1. "우리 반품 정책"을 파인튜닝으로 가르치면 왜 곤란합니까?

2. 네 가지는 무엇으로 나뉩니까?

3. 파인튜닝을 검토하기 전에 반드시 해봐야 할 것은?

4. 조직이 실제로 가장 많이 쌓는 것은 어느 칸이고, 왜 눈에 안 띕니까?

여기까지가 "무엇을 알게 하는가"였습니다. 다음은 그 위에서 스스로 도는 구조입니다 → 에이전트 — 스스로 도는 루프