AI는 사실이 아닌 것을 마치 진짜인 것처럼 답할 때가 있습니다. 이를 '환각(hallucination)'이라 부릅니다. 존재하지 않는 책 제목, 틀린 숫자, 꾸며낸 인용——게다가 말투는 자신만만해서 알아채기 어렵다는 점이 곤란합니다.
왜 일어나는가 (간단히)
AI는 '다음에 올 법한 단어'를 확률적으로 이어 붙여 문장을 만듭니다. '그럴듯한 문장'을 만드는 데는 능하지만, '사실인지 아닌지'를 보장하는 것은 아닙니다. 그래서 모르는 것도 빈칸을 메우듯 그럴싸한 답을 만들어 버립니다.
지시로 실수를 줄이는 5가지 말투
- 빠져나갈 길을 준다 — "모르는 경우에는 모른다고 솔직히 답해. 추측으로 메우지 마"
- 사실과 추측을 구분시킨다 — "확실한 것과 당신의 추측을 나눠서 써"
- 출처를 요구한다 — "근거나 출처도 함께 제시해"(※출처 자체가 날조되는 경우도 있으니 확인은 필요)
- 자료를 건넨다 — 추측시키지 말고, 내가 건넨 자료 안에서만 답하게 한다(가장 효과가 높음)
- 숫자나 고유명사를 의심한다 — "이 답변 속의 숫자·날짜·이름을 다시 한번 확인해"
가장 잘 듣는 것은 '자료를 건네는 것'
AI에게 기억으로 답하게 하기보다, 올바른 자료를 건네고 "이 안에서 답해"라고 지시하는 편이 실수가 격감합니다. 사내 문서, 공식 페이지, 데이터를 붙인 뒤 질문한다. 이것만으로도 신뢰도가 크게 올라갑니다.
그래도 마지막엔 직접 확인
어떤 궁리를 해도 환각을 0으로 만들 수는 없습니다.
중요한 사실(숫자·이름·날짜·인용·법률이나 의료 정보)은 반드시 일차 정보로 확인을 받는다.
특히 '남에게 보여주는' '돈이나 건강에 관련된' 정보는 AI의 답변을 그대로 믿지 말 것. 다음 글에서는 이 '검증 습관'을 구체적으로 설명합니다.