지시가 그대로 먹지 않는 이유

이 장에서 배우는 것 네 번째 성질입니다. 말로 행동을 바꿀 수 있다는 것이 왜 동시에 뜻한 것과 전달된 것이 어긋나는 이유가 되는지, 어긋남이 어떤 모습으로 나타나는지, 무엇이 실제로 듣는지 봅니다.

지키는 것이 아니라 잇는 것입니다

어긴 것이 아닙니다. 모델은 규칙을 어딘가에 저장해 두고 매번 대조하는 것이 아닙니다. "표를 쓰지 말라는 문장이 위에 있는 대화"의 자연스러운 이어짐을 만들 뿐입니다. 그 문장이 멀어질수록, 그리고 표가 자연스러운 내용일수록, 이어짐은 표 쪽으로 기웁니다.

지시는 스위치가 아니라 무게추입니다. 켜고 끄는 것이 아니라, 확률을 한쪽으로 기울입니다.

이것이 지시 반응(steerability) 입니다. 말 몇 줄로 역할·형식·태도를 바꿀 수 있다는 것이 이 성질의 능력 쪽이고, 그 바뀜이 확률에 불과하다는 것이 한계 쪽입니다. 둘은 같은 사실입니다.

어긋남의 다섯 가지 모습

1. 멀어지면 옅어짐

대화가 길어질수록 처음 준 규칙이 흐려집니다. 세 번째 성질(작업 기억)과 겹치면 아예 사라지기도 하지만, 밀려나기 전부터 이미 옅어집니다. 창 안에 남아 있어도 멀면 약합니다.

2. 부정형이 오히려 부릅니다

"~하지 마세요"는 그 단어를 대화에 넣는 일입니다. 금지어를 적는 순간 그것이 맥락이 됩니다. 사람에게도 비슷하지만 모델에서는 더 자주 드러납니다.

• ✗ "고객 이름을 쓰지 마세요" → 이름이 튀어나오는 답이 늘어납니다
• ✓ "고객은 'A사'로만 지칭하세요" → 대체할 자리를 줍니다

금지 대신 대체를 주는 것이 원칙입니다.

3. 규칙끼리 부딪힙니다

두 지시는 한 답에서 동시에 지킬 수 없습니다. 모델은 충돌을 알려주지 않고 한쪽을 조용히 버립니다. 대개 나중에 온 쪽, 그리고 구체적인 쪽이 이깁니다.

답이 이상할 때 먼저 볼 것은 모델이 아니라 지시 목록입니다. 서로 부딪히는 줄이 있는지 보세요.

4. 형식은 지키고 내용은 안 지킵니다

가장 자주 속는 대목입니다.

형식 지시가 내용 지시보다 훨씬 잘 듣습니다. 형식은 겉모양이라 이어붙이기가 쉽고, "자료에만 근거하라"는 매 문장마다 판단이 필요하기 때문입니다. 그래서 형식이 완벽한 답을 보면 내용도 지켜졌다고 착각합니다.

5. 데이터가 지시처럼 읽힙니다

붙여넣은 자료 안에 명령문이 있으면 모델은 그것도 지시로 읽을 수 있습니다. 모델에게 "지시"와 "자료"는 같은 글자이기 때문입니다.

이 성질이 공격이 되면 프롬프트 인젝션입니다 → 읽은 것이 명령이 될 때

무엇이 실제로 듣나

규칙과 자료를 구분해 표시하기

구분 표시가 만능은 아닙니다. 확률을 기울일 뿐입니다. 그래서 정말 위험한 경로에는 지시 문구가 아니라 구조를 둡니다 — 도구 권한을 줄이고, 사람 승인을 넣습니다(도구는 권한이다).

지켜졌는지 확인하는 값싼 방법

모델이 스스로를 채점하는 것이라 완전하지 않습니다. 그래도 형식만 지키고 내용을 어긴 경우를 꽤 잡아냅니다. 반복 업무라면 이 확인을 자동화하는 것이 평가(Evals)입니다.

조직에서는 어디에 두나

한 사람의 대화창에서는 규칙을 매번 다시 적어도 됩니다. 여러 사람이 쓰는 자동화에서는 그럴 수 없습니다 — 규칙을 사람의 손버릇이 아니라 시스템에 두어야 합니다.

Connect 라면 서브 에이전트의 지시문이 그 자리입니다. HyperTeams 라면 스킬입니다.

---

확인

1. "지시는 스위치가 아니라 무게추"라는 말의 뜻은?

답

모델은 규칙을 저장해 두고 매번 대조하는 것이 아니라 규칙이 적힌 글의 이어짐을 만듭니다. 그래서 지시는 확률을 기울일 뿐 켜고 끄지 못합니다. 멀어지면 옅어지고, 내용이 반대로 자연스러우면 밀립니다.

2. "고객 이름을 쓰지 마세요"가 왜 역효과를 냅니까? 대신 무엇을 씁니까?

답

금지어를 적는 순간 그 단어가 맥락에 들어가기 때문입니다. 부정형은 채울 자리를 주지 않습니다. 대체를 주세요 — "고객은 'A사'로만 지칭하세요".

3. 형식은 완벽한데 내용이 틀린 답을 보면 무엇을 의심해야 합니까?

답

형식 지시가 내용 지시보다 훨씬 잘 듣는다는 점입니다. 겉모양이 지켜졌다고 "자료에만 근거하라" 같은 지시까지 지켜진 것은 아닙니다. 규칙 준수를 따로 되읊게 하거나 평가로 확인해야 합니다.

---

이제 실제로 지시를 고쳐 써봅니다 → 지시 고쳐쓰기