모델 갖추기 — 내려받고 띄우기

이 장에서 배우는 것 모델 서버를 띄우고 무엇부터 받을지 고르는 순서, 받기 전에 이 컴퓨터에서 되는지 아는 법, 그리고 받고 나서 처음 부딪히는 두 가지.

다음 장이 전제하는 것

내 컴퓨터를 모델 서버로는 이렇게 시작합니다 — "base 주소만 바꾸면 내 컴퓨터의 모델이 응답합니다." 맞는 말인데, 그 모델이 거기 있어야 성립합니다. 이 장이 그 앞자리입니다.

화면은 묶음 셋입니다

사이드바 머리의 ⋯ → 전역 설정 → 모델에 들어가면 묶음이 셋입니다. 순서에 뜻이 있습니다.

서버가 맨 앞인 것은 없으면 가운데가 통째로 뜻이 없기 때문입니다. 실제로 모델 묶음은 서버에 연결됐을 때만 그려집니다. 서버가 꺼져 있으면 화면의 첫 줄이 곧 다음 할 일입니다.

1. 서버 — 둘 중 하나

두 번째를 골랐다면 설치·시작·중지는 그 서버를 띄운 자리에서 해야 합니다. 여기서는 안 됩니다. 팀에 서버가 한 대 있고 여러 사람이 붙는 형태가 이쪽입니다.

원격에서 로컬로 바꾸면 한 번 묻습니다. 지금 붙어 있는 주소와의 연결이 끊기기 때문인데, 직전 주소를 기억해 두므로 곧바로 되돌릴 수 있습니다.

"이 컴퓨터에서 돌리기"를 골라 서버를 띄운 상태입니다. 바로 아래에 이 컴퓨터의 메모리가 함께 있고, 그 밑이 뒤에서 볼 한 번에 읽는 분량입니다.

2. 모델 — 목록이 짧은 이유

이 화면에는 카탈로그가 없습니다. 갤러리에는 1600여 개가 있는데 보여주지 않습니다. 프리셋 다섯 개가 그 자리를 맡고, 나머지는 이름을 직접 넣는 칸이 받습니다.

의도된 것입니다. 모르는 사람에게 1600개를 보여 주는 것은 도움이 아니고, 모델은 특히 그렇습니다 — 잘못 고르면 수십 GB를 받고 나서야 이 컴퓨터에서 안 돈다는 것을 알게 됩니다.

검색창이 있지만 브라우징용이 아닙니다. 이미 타이핑한 이름을 좁히는 용도입니다 — 오타를 고치고 그 이름이 실재하는지 확인하는 자리입니다.

프리셋 다섯

무엇부터 받나요. 앞뒤 장이 실제로 쓰는 것부터입니다.

graph TD
  A["무엇을 하려고 하나"] --> B["회의록·영상 요약"]
  A --> C["원고를 음성으로"]
  A --> D["분류·태깅·요약"]
  A --> E["이미지 생성"]
  B --> B1["Whisper<br/>1.6 GB — 가장 작다"]
  C --> C1["Fish Speech"]
  D --> D1["Gemma 4 E4B"]
  E --> E1["Z-Image Turbo"]

음성과 이미지 다루기와 영상에서 자료 뽑기가 부르는 것이 각각 첫 줄과 둘째 줄입니다. 가장 작은 것이 가장 자주 쓰입니다.

3. 받기 전에 — 이 PC에서 되는가

설치 버튼을 누르기 전에 이 컴퓨터에서 되는지 먼저 재 줍니다. 판정은 넷입니다.

메모리와 디스크를 따로 봅니다. 램은 넉넉한데 디스크가 없는 노트북과, 디스크는 비었는데 램이 8GB인 컴퓨터는 막히는 이유가 다르고 할 일도 다릅니다 — 파일을 지우느냐, 더 작은 모델을 고르느냐. 하나로 뭉뚱그리면 어느 쪽인지 말해 줄 수 없어서 따로 표시합니다.

"빠듯합니다"를 가볍게 보지 마세요. 여유가 필요량의 1.25배 아래면 이 판정이 나옵니다. 모델만 메모리에 있는 게 아닙니다 — OS도, 브라우저도, 이 대시보드 자신도 이미 쓰고 있습니다. 딱 맞게 들어가는 것은 "된다"가 아니라 "스왑을 시작한다" 입니다.

같은 컴퓨터인데 위는 "동작합니다", 아래는 "부족합니다"입니다. 필요량과 여유가 나란히 적혀 있어서 무엇이 모자란지 바로 보입니다.

각 카드의 "다른 판으로 받기"는 같은 모델의 더 작은 판을 고르는 자리입니다. "부족합니다"가 떴을 때 모델을 통째로 포기하기 전에 먼저 볼 곳입니다.

그리고 이 추정치는 가중치에 대한 것입니다. 모델을 돌릴 엔진은 여기 안 들어갑니다 — 다음 절에서 볼 텐데, 어떤 엔진은 그 자체로 수 GB입니다. 디스크 쪽 판정이 넉넉한 배수를 요구하는 이유입니다.

'그래도 설치'가 있습니다. 다만 부족 판정에서 그걸 누르는 것이 가장 비싼 실패 방식입니다 — 수 GB를 다 받고 나서 로드에서 실패합니다.

4. 추론 엔진 — 모델을 실제로 돌리는 것

모델 파일만으로는 아무것도 안 됩니다. 그걸 돌리는 프로그램이 따로 있고, 화면에서는 추론 엔진이라고 부릅니다.

직접 고르지 않습니다. 모델을 설치하면 그 모델에 맞는 엔진이 하드웨어에 맞춰 함께 깔립니다. 알아 둘 것은 둘입니다.

• 모델을 지워도 엔진은 남습니다. "모델을 지웠는데 디스크가 안 줄었다"의 정체가 대개 이것입니다.
• '다시 받기'는 지금 깔린 그 엔진을 그대로 다시 받습니다. 다른 엔진으로 바꾸려면 지운 뒤에 다시 받아야 합니다.

엔진 이름 아래에 어느 이미지에서 왔는지가 적혀 있습니다. "왜 이게 깔렸지"의 유일한 단서라 그대로 두었습니다. 판만 바꾸고 싶으면 "다른 빌드로 바꾸기"가 지우고 다시 받는 수고를 대신합니다.

GPU를 못 쓰고 있는 엔진

엔진 목록에 경고가 붙을 때가 있습니다 — GPU를 쓰지 못하고 CPU로 돌고 있다는 것입니다. 증상은 "느리다"가 아니라 "요청이 끝나지 않는다"에 가깝습니다.

이때 지우고 다시 받아도 소용없습니다. 무엇을 받을지가 설치 시점에 정해지고 그 판정이 매번 같아서, 다시 받아도 같은 CPU 판이 옵니다. 화면의 '수리 다시 실행'이 이 경우를 위한 것입니다. 수 GB를 다시 받고 아무것도 안 바뀌는 일을 피하세요.

5. 컨텍스트 크기 — 에이전트 업무의 첫 벽

모델을 받고 나서 가장 먼저 부딪히는 것입니다. 모델 서버는 모델을 작은 컨텍스트로 올립니다. 사람이 한두 마디 물어보는 데는 충분한데, 에이전트 업무는 거기 안 들어갑니다.

작업 폴더의 규칙 파일, 도구 설명, 시스템 지시문만으로 이미 그만큼이고, 파일을 한 번 읽으면 넘어갑니다. 실제 실패는 이렇게 보입니다.

모델마다 고치는 게 아니라 서버 설정 하나로 넘깁니다. 그러면 그 뒤에 설치되는 모델까지 전부 따릅니다.

바꾼 값은 다음 기동부터입니다. 화면도 그렇게 알려 줍니다 — 고른 뒤에 서버를 한 번 다시 시작해야 실제로 적용됩니다.

무조건 크게가 아닌 이유

컨텍스트는 곧 메모리입니다. 대화 내용을 담아 두는 캐시가 컨텍스트에 비례해 늘어납니다. 한 모델의 실측입니다.

이 모델이 할 수 있는 최대는 131,072입니다. 그런데 16GiB 기계에서 그 값으로 올리면 캐시만 21GiB라 아예 뜨지 않습니다. 그래서 기본값은 "모델이 할 수 있는 최대"가 아니라 "업무가 도는 데 충분하면서 흔한 기계에서 안전한 값"입니다. 올리는 것은 선택이고, 화면이 그 대가를 함께 보여 줍니다.

6. 됐는지 확인

설치된 모델 탭에서 초록 점은 지금 메모리에 올라가 있다는 뜻입니다. 내려도 파일은 그대로 남습니다 — 지운 것이 아닙니다.

그리고 다음 장이 실제로 쓰는 확인은 이것입니다.

여기 이름이 나오면 준비가 끝났습니다. 다음 장의 "모델 이름이 다릅니다"가 바로 이 목록 이야기입니다.

자주 하는 실수

제일 큰 것부터 받습니다

21GB짜리를 먼저 받고 안 돌아서 포기합니다. 1.6GB짜리로 되는 일이 대부분이고, 그게 음성과 이미지 다루기·영상 장이 쓰는 그것입니다.

프리플라이트 경고를 넘깁니다

'그래도 설치'는 판정이 '확인하지 못했습니다'일 때 쓰는 것이지, '부족합니다'일 때 쓰는 것이 아닙니다.

컨텍스트를 최대로 올립니다

캐시가 메모리를 먹고 모델이 아예 안 뜹니다. 업무가 안 돌 때만 한 단계씩 올리세요.

엔진 경고를 보고 모델을 다시 받습니다

수 GB를 다시 받아도 같은 것이 옵니다. '수리 다시 실행'입니다.

확인

1. 회의 녹음을 글로 바꾸려 합니다. 무엇부터 받습니까?

2. "동작하지만 여유가 빠듯합니다"는 무슨 뜻입니까?

3. 엔진이 CPU로 돌고 있다는 경고가 떴습니다. 무엇을 합니까?

이제 이 모델을 코드에서 부릅니다 → 내 컴퓨터를 모델 서버로