자료를 붙여보기
이 장에서 배우는 것 읽는 장이 아니라 하는 장입니다. 자료를 안 붙였을 때와 붙였을 때가 어떻게 다른지, 그리고 자료에 답이 없을 때 어떻게 되는지 직접 봅니다.
준비물
세 번째 줄이 이 실습의 핵심입니다. 질문을 나중에 만들면 답을 보고 질문을 맞추게 됩니다.
회사 문서를 지금 구하기 어렵다면 아래 샘플을 펼쳐 그대로 복사해 쓰세요. 실습 1~4가 이 문서를 기준으로 쓰여 있어서, 나온 답을 정답과 바로 대조할 수 있습니다.
샘플 문서 — (주)한빛물산 출장비 지급 규정 (가상)
실습 1·2에서 던질 질문 3개 — 정답을 먼저 보지 말고 접어두세요.
| # | 질문 | 정답 | 근거 |
|---|---|---|---|
| 1 | B등급 직원의 국내 1박 숙박비 한도는? | 100,000원 (광역시 숙박은 120,000원) | 2쪽 제4조 |
| 2 | 조식이 숙박비에 포함됐을 때 1일 식비는? | 22,000원 | 3쪽 제5조 |
| 3 | 정산은 언제까지 신청해야 하나? | 출장 종료일부터 10영업일 이내 | 3쪽 제7조 |
실습 3에서 쓸 함정 질문
제8조가 "별도 규정에 따른다"고만 하고 비자는 이 문서 어디에도 없습니다. 제8조를 끌어다 그럴듯하게 답한다면 그게 실습 3이 잡으려는 실패입니다.
실습 1 — 자료 없이 물어보기 (5분)
문서를 붙이지 말고 질문 3개를 그대로 던지세요.
무엇을 보나
| 나온 답 | 뜻 |
|---|---|
| "그 정보는 없습니다" | 정직한 모델. 좋은 신호 |
| 그럴듯한 숫자를 말함 | 지어낸 것입니다. 학습 데이터에 우리 규정이 있을 리 없습니다 |
| 일반론으로 답함 | "회사마다 다릅니다…" — 회피 |
가운데 줄이 나왔다면 그 화면을 캡처해두세요. 나중에 팀에 환각을 설명할 때 남의 사례보다 훨씬 잘 통합니다.
실습 2 — 붙이고 다시 묻기 (10분)
이번엔 문서를 첨부하거나 붙여넣고 같은 질문을 합니다. 한 문장을 더 붙이세요.
무엇을 보나
세 번째를 건너뛰지 마세요. 쪽수를 그럴듯하게 지어내는 경우가 있습니다. 출처가 붙었다는 것과 출처가 맞다는 것은 다릅니다.
실습 3 — 함정 질문 (10분)
이게 가장 중요한 실습입니다. 그 문서에 답이 없는 질문을 하나 던지세요.
무엇을 보나
| 나온 답 | 판정 |
|---|---|
| "문서에 없음" | ✓ 제대로 작동합니다 |
| 근처 조항을 끌어다 그럴듯하게 답함 | 가장 위험한 실패입니다 |
| 일반 상식으로 답함 | 지시를 무시한 것 |
두 번째 줄이 실무에서 사고를 냅니다. 출처까지 붙어 있어서 맞는 답처럼 보이는데, 그 조항은 다른 얘기를 하고 있습니다.
이게 나왔다면 지시를 강화해보세요.
다시 해보고 달라지는지 확인하세요. 이 한 줄로 잡히는 경우가 많습니다.
실습 4 — 쪼개면 달라집니다 (5분)
문서 대신 그 문서에서 한 문단만 잘라 붙이고 같은 질문을 하세요.
샘플 문서를 쓰고 있다면 제4조의 그 한 줄만 떼면 됩니다. 무슨 한도인지, 1박 기준인지, 광역시 가산이 붙는지가 전부 잘려 나갔습니다. 답이 흔들리거나 되묻는다면, 조각에 문맥을 붙이는 것이 왜 검색 실패율을 3분의 1로 줄이는지 몸으로 확인한 것입니다.
해보고 나면
네 줄 모두 체크됐다면 드라이브나 문서 변환으로 넘어갈 준비가 된 것입니다.
확인
1. 실습 3(함정 질문)에서 가장 위험한 결과는 무엇이고 왜입니까?
답
근처 조항을 끌어다 그럴듯하게 답하는 것입니다. 출처까지 붙어 있어서 맞는 답처럼 보이는데 실제로는 다른 얘기라, 검수하는 사람도 속기 쉽습니다. "명시적으로 없으면 없다고만 답해"를 지시에 넣어 대부분 막힙니다.
2. 출처가 붙은 답을 왜 열어서 확인해야 합니까?
답
쪽수 자체를 지어내는 경우가 있기 때문입니다. 출처가 붙었다는 것과 출처가 맞다는 것은 다릅니다. 실습 2에서 세 번째 점검 항목을 건너뛰면 안 되는 이유입니다.
3. 한 문단만 잘라 붙였을 때 답이 흔들리는 이유는?
답
조각만 떼면 문맥이 사라지기 때문입니다. "이 한도"가 무슨 한도인지 앞 문단에 있었는데 잘려 나갔습니다. 그래서 실무에서는 조각을 저장할 때 어느 문서 어느 맥락인지 한 줄을 붙여둡니다.
이제 "그럼 아예 학습을 시키면 안 되나"에 답할 차례입니다 → 어떤 학습을 고를까