모델 고르기와 비용

이 장에서 배우는 것 모델이 급으로 나뉘는 이유, 요금이 실제로 어떻게 매겨지는지, 그리고 품질을 안 깎으면서 비용을 줄이는 세 가지 방법.

모델은 하나가 아닙니다

같은 회사가 내놓는 모델도 보통 세 급으로 나뉩니다.

"제일 좋은 것 하나로 다 돌리면 되지 않나"가 첫 반응인데, 여기서 비용이 새기 시작합니다.

요금이 매겨지는 방식

과금 단위는 토큰입니다. 대략 한국어 한 글자가 1~2토큰, 영어 단어 하나가 1~2토큰이라고 보면 감이 옵니다. 중요한 건 세 가지입니다.

3번이 사람들이 가장 자주 놓치는 부분입니다. 컨텍스트 창 에서 본 대로 모델은 매번 대화 전체를 다시 읽으므로, 20턴짜리 대화의 20번째 질문은 첫 질문보다 훨씬 비쌉니다.

기준 시점 2026년 8월. 아래 숫자는 바뀝니다. 외우지 말고 비율과 원칙을 보세요.

급 사이의 가격 차는 이 정도입니다 (백만 토큰당, 정가 기준 — 시점에 따라 바뀝니다).

전부 상급으로 돌리면 경량으로 될 일에 5배를 냅니다. 반대로 어려운 판단을 경량에 맡기면 틀린 결과를 사람이 고치느라 더 비싸집니다. 요령은 일에 맞게 나누는 것입니다.

어디에 무엇을 쓰나

graph TD
  A["이 작업의 성격은?"] --> B{"틀리면 사람이 고쳐야 하나?"}
  B -->|"예 — 비용 큼"| C["상급"]
  B -->|"아니오"| D{"형식이 정해져 있고<br/>판단이 거의 없나?"}
  D -->|"예"| E["경량"]
  D -->|"아니오"| F["중급부터 시작"]

실제 배치는 대개 이런 모양이 됩니다.

마지막 두 줄이 요점입니다. 대량 처리는 싼 모델로 하고, 검수만 비싼 모델에 맡기는 조합이 비용 대비 품질이 가장 좋습니다.

아끼는 방법 세 가지

1. 같은 앞부분은 캐시로

대부분의 요청은 앞부분이 똑같습니다. 지시문, 회사 소개, 규정, 도구 목록 — 매번 같은 내용을 다시 계산하고 다시 냅니다.

캐싱은 그 반복되는 앞부분을 저장해두고 다음 요청에서 재사용합니다.

두 번째 요청부터 이득입니다. 1.25배 + 0.1배 = 1.35배가 2배(캐시 없이 두 번) 보다 싸기 때문입니다. 지시문이 길고 요청이 반복되는 업무일수록 효과가 큽니다.

단, 캐시는 앞에서부터 정확히 일치해야 걸립니다. 지시문 맨 앞에 "오늘 날짜: ..."를 넣는 순간 매 요청이 다른 문장이 되어 캐시가 통째로 깨집니다.

2. 생각의 깊이를 조절

요즘 모델은 답하기 전에 얼마나 깊이 따져볼지를 조절할 수 있습니다. 낮게 두면 빠르고 싸고, 높이면 느리고 비싼 대신 어려운 문제를 풉니다.

기본값을 그대로 두고 전부 최고로 돌리는 경우가 많습니다. 일상 업무를 한 단계 낮추는 것만으로 체감 품질 변화 없이 비용이 눈에 띄게 줄어드는 일이 흔합니다.

3. 넣는 것을 줄이기

가장 확실한 방법입니다. 찾아 붙이기로 문서 전체 대신 관련 조각만 넣고, 대화가 길어지면 정리해서 새로 시작합니다.

컨텍스트 창은 크다고 좋은 게 아닙니다

요즘 모델은 100만 토큰까지 담습니다. 책 여러 권 분량입니다. 그런데 담을 수 있다는 것과 그렇게 쓰는 게 좋다는 것은 다릅니다.

가운데 줄이 왜 그런지는 컨텍스트가 밀려날 때에서 다뤘습니다.

큰 창은 여유이지 목표가 아닙니다.

자주 하는 오해

"제일 좋은 모델만 쓰면 안전하지 않나요?"

품질은 안전해지고 비용과 속도가 위험해집니다. 그리고 대량 반복 업무에서 상급 모델의 장점은 대부분 드러나지 않습니다. 판단이 없는 일에서 더 똑똑한 모델이 낼 차이가 없기 때문입니다.

"모델을 여러 개 쓰면 관리가 복잡하지 않나요?"

두 개로 시작하세요. 일상 업무용 하나 + 검수·어려운 판단용 하나. 이 두 개 구성만으로도 비용 구조가 크게 달라집니다. 세 개 이상은 평가 가 갖춰진 다음 일입니다.

확인

1. 20턴짜리 대화의 마지막 질문이 첫 질문보다 훨씬 비싼 이유는?

2. 지시문 맨 앞에 오늘 날짜를 넣으면 왜 비용이 오릅니까?

3. 비용 대비 품질이 가장 좋은 조합은?

여기까지가 기술 기초입니다. 다음은 이 모든 것을 실제 시스템에 연결하는 표준입니다 → MCP — 왜 표준이 필요했나