환각과 검증 — 그럴듯함을 의심하는 법

1.환각이란 무엇인가

환각은 AI가 사실이 아닌 내용을 사실처럼 말하는 현상을 가리킵니다. 존재하지 않는 책 제목과 저자, 없는 법 조항, 틀린 날짜, 실제와 다른 인용문을 매끄러운 문장으로 만들어 냅니다. 영어로는 할루시네이션이라고 부릅니다.

환각이 위험한 이유는 틀린 답이 틀려 보이지 않기 때문입니다. 맞는 답과 같은 자신 있는 말투, 같은 정돈된 형식으로 나옵니다. 문장이 자연스럽다는 것은 내용이 맞다는 증거가 되지 못합니다.

2.왜 생길까

4강에서 언어모델은 다음에 올 가장 그럴듯한 토큰을 고른다고 했습니다. 모델은 '이 문장이 사실인가'를 확인하는 장치가 아니라 '이 문장이 그럴듯한가'를 계산하는 장치입니다. 널리 알려진 사실은 학습 데이터에 여러 번 나와서 그럴듯함과 사실이 거의 일치합니다. 하지만 드문 사실, 학습 이후의 일, 정확한 숫자처럼 데이터에 적게 나온 내용에서는 둘이 어긋날 수 있습니다.

예를 들어 잘 알려지지 않은 연구의 저자를 물으면, 모델은 그 분야에서 '그럴듯한 이름'과 '그럴듯한 학술지 이름'을 조합해 답할 수 있습니다. 모른다고 말하는 것보다 그럴듯한 답을 이어 쓰는 쪽이 모델에게는 자연스러운 경우가 있기 때문입니다. 모델과 서비스를 만드는 쪽에서도 이런 일을 줄이려고 여러 장치를 더하고 있지만, 원리상 완전히 없앨 수는 없다고 보는 것이 안전합니다.

3.환각이 잘 생기는 질문

모든 답을 똑같이 의심할 필요는 없습니다. 위험한 질문의 종류를 알아 두면 확인에 쓸 힘을 아낄 수 있습니다.

4.답을 확인하는 다섯 가지 습관

확인은 어렵지 않습니다. 중요한 답에만 아래 습관을 적용해도 상당수의 환각을 걸러 낼 수 있습니다.

• 1차 출처로 확인한다: 법은 법령 원문, 제도는 담당 기관의 공식 안내, 통계는 발표 기관의 자료로 확인한다
• 출처는 직접 찾아본다: AI가 알려 준 책·논문·기사 제목을 검색해 실제로 있는지, 그 내용이 맞는지 본다
• 숫자는 다시 계산한다: 계산 결과는 계산기나 표로 직접 검산한다(수학 기초 과정이 여기서 쓰인다)
• 다르게 다시 묻는다: 질문을 바꾸거나 새 대화에서 다시 물어 답이 흔들리는 부분을 찾는다
• 근거를 요구한다: 답의 근거와 확실하지 않은 부분을 표시하게 하고, 그 부분부터 확인한다

5.직접 해 보는 검증 — 숫자 하나 따라가기

다섯 가지 습관을 실제 답 하나에 적용해 보겠습니다. 아래 답은 설명을 위해 꾸민 예입니다. 이런 답은 문장이 매끄럽고 계산 근거까지 붙어 있어 그대로 믿기 쉽습니다.

AI의 답이 틀리는 이유가 모두 환각인 것은 아닙니다. 원인이 다르면 확인하는 방법도 달라지므로, 틀린 답을 만나면 어떤 종류의 오류인지 함께 따져 보는 것이 좋습니다.

• 계산 실수: 단계가 길어질수록 숫자를 옮기다 틀리기 쉽다 — 계산기나 표 계산 프로그램으로 검산한다
• 오래된 정보: 학습 이후 바뀐 제도·가격·인물 정보를 예전 기준으로 말한다 — 날짜가 붙은 공식 자료로 확인한다
• 질문 오해: 묻지 않은 것에 답하거나 조건 하나를 빠뜨린다 — 질문의 조건을 답과 하나씩 대조한다
• 준 자료를 잘못 읽기: 붙여 넣은 자료에 없는 내용을 요약에 섞는다 — 요약의 문장마다 원문의 어느 부분인지 표시하게 한다

6.환각을 줄이는 프롬프트

확인과 함께 처음부터 환각이 덜 생기게 묻는 방법도 있습니다. 가장 효과적인 것은 근거 자료를 직접 주는 것입니다. 믿을 만한 자료를 붙여 넣고 '이 자료 안에서만 답하고, 없으면 없다고 해'라고 하면 지어낼 여지가 크게 줄어듭니다.

모른다고 말해도 된다고 허락하는 것도 도움이 됩니다. '확실하지 않으면 모른다고 답해도 돼', '추측한 부분은 (추측)이라고 표시해 줘'처럼 쓰면 답 속의 불확실한 부분이 드러납니다. 반대로 '반드시 다섯 개를 채워 줘'처럼 개수를 강요하면, 아는 것이 셋뿐일 때 나머지 둘을 지어낼 위험이 커집니다.

• 틀림: 이 주제 관련 통계 다섯 개 알려 줘.바름: 이 주제와 관련해 네가 비교적 확실히 아는 통계가 있으면 알려 주고, 각각 발표 기관과 기준 연도를 함께 써 줘. 확실하지 않으면 개수를 채우지 말고 '확인 필요'라고 써 줘.개수를 강요하지 않고, 출처와 불확실성을 표시하게 하면 확인할 지점이 분명해집니다.