생성형 AI를 처음 사용할 때 가장 당황스러운 순간 중 하나는 답변이 너무 자연스러워서 믿었는데 나중에 확인해보니 사실과 다른 경우다.
책을 추천해달라고 했는데 실제로 존재하지 않는 책 제목이 포함되어 있거나, 특정 연구를 설명하면서 그럴듯한 논문명과 연구기관을 제시했지만 검색해보니 확인되지 않을 수도 있다.
더 어려운 점은 AI가 이런 내용을 반드시 머뭇거리면서 말하는 것은 아니라는 것이다.
문장 구조도 자연스럽고 설명도 논리적으로 이어지기 때문에 얼핏 보면 정확한 정보처럼 느껴진다.
이처럼 생성형 AI가 사실과 다른 내용을 그럴듯하게 만들어내는 현상을 흔히 AI 환각(Hallucination)이라고 부른다.
이 현상을 이해하려면 먼저 한 가지를 분명히 할 필요가 있다.
생성형 AI는 ‘진실을 알고 있는 사람’처럼 답하는 시스템이라기보다, 주어진 문맥에서 자연스러운 다음 표현을 만들어내는 시스템에 더 가깝다.
AI는 ‘모르면 멈추는 검색창’처럼 작동하지 않는다
검색엔진에서 존재하지 않는 자료를 검색하면 결과가 거의 없거나 관련 없는 페이지가 나타날 수 있다.
사용자는 그 상황을 보고 “자료가 없구나”라고 판단하기 쉽다.
하지만 생성형 AI는 방식이 다르다.
질문을 받으면 가능한 문맥을 바탕으로 하나의 답변을 구성하려고 한다.
예를 들어 사용자가 이렇게 물었다고 해보자.
“2025년에 발표된 ‘AI Productivity Shift Report’의 핵심 내용을 요약해줘.”
실제로 그런 보고서가 존재하는지 AI가 확실하게 확인할 수 없는 상황이라고 가정해보자.
이때 이상적인 답변은,
“해당 보고서의 존재를 확인할 수 없습니다.”
라고 말하는 것이다.
하지만 생성형 AI가 제목의 형태와 문맥을 바탕으로 그럴듯한 내용을 구성할 수도 있다.
생산성 향상, 자동화, 지식 노동 변화 같은 관련 개념을 엮어서 마치 실제 보고서에 들어 있던 내용처럼 설명할 수 있는 것이다.
이유는 간단하다.
AI가 답변을 만드는 핵심 과정은 ‘이 문장이 실제로 사실인가’를 인간처럼 확인하는 것보다 현재 문맥에 자연스럽게 이어지는 내용을 생성하는 것에 가깝기 때문이다.
그래서 문장이 자연스럽다는 사실과 정보가 정확하다는 사실은 반드시 구분해서 봐야 한다.
환각은 어떤 상황에서 자주 나타날까
AI가 언제 틀릴지 정확하게 예측하기는 어렵지만, 상대적으로 주의해야 할 상황은 있다.
첫 번째는 매우 구체적인 사실을 요구할 때다.
예를 들어 특정 날짜, 수치, 논문명, 제품 출시일, 사람의 발언처럼 정확한 정보가 필요한 질문이다.
“이 기술을 만든 사람이 누구야?”
정도보다,
“2018년 3월에 발표된 논문 제목과 저자 전원을 알려줘.”
같은 질문이 훨씬 구체적이다.
구체적일수록 틀렸을 때도 그럴듯하게 보일 위험이 있다.
두 번째는 정보가 희귀하거나 널리 알려져 있지 않을 때다.
유명한 역사적 사건이나 기본 개념보다 작은 지역 행사, 특정 기업의 내부 사례, 오래된 소규모 출판물처럼 정보가 제한적인 주제는 확인이 더 필요하다.
세 번째는 질문에 잘못된 전제가 들어 있을 때다.
예를 들어,
“아인슈타인이 1925년에 만든 최초의 컴퓨터가 어떤 방식으로 작동했는지 설명해줘.”
라고 질문하면 전제 자체가 잘못되어 있다.
이럴 때 AI가 전제를 바로잡지 않고 질문의 흐름에 맞춰 설명을 이어가면 사실과 다른 답변이 만들어질 수 있다.
그래서 질문을 만들 때도 사용자가 알고 있는 내용이 정확한지 확신하기 어렵다면,
“내 질문의 전제가 틀렸다면 먼저 수정해줘.”
라는 조건을 붙이는 것이 도움이 된다.
특히 숫자와 출처는 별도로 확인하는 습관이 좋다
AI 답변을 검토할 때 모든 문장을 똑같은 강도로 확인할 필요는 없다.
우선순위를 정하면 훨씬 편하다.
먼저 숫자를 본다.
비율, 통계, 금액, 날짜, 사용자 수, 성장률 같은 내용이다.
다음으로 고유명사를 본다.
사람 이름, 회사 이름, 논문 제목, 보고서 제목, 기관명, 제품명 등이 여기에 해당한다.
마지막으로 출처가 필요한 표현을 확인한다.
“한 연구에 따르면”
“전문가들은”
“최근 조사 결과”
“대부분의 사용자는”
같은 표현이다.
제가 AI로 초안을 다룰 때도 이런 문장이 나오면 바로 그대로 쓰기보다 먼저 표시해두는 편이 효율적이다.
본문 전체를 처음부터 다시 검증하기보다 틀렸을 때 문제가 커질 수 있는 요소부터 확인하는 방식이다.
예를 들어,
“최근 조사에 따르면 직장인의 72%가 생성형 AI를 업무에 활용한다.”
라는 문장이 있다고 하자.
출처가 없다면 숫자가 그럴듯해 보여도 그대로 쓰지 않는 편이 좋다.
실제 조사 보고서를 찾을 수 없다면,
“생성형 AI를 업무에 활용하는 사례가 늘고 있다.”
처럼 구체적인 숫자를 제거하는 방법도 있다.
정보형 블로그에서는 확인되지 않은 수치 하나를 넣는 것보다, 검증 가능한 범위에서 정확하게 설명하는 편이 훨씬 낫다.
AI에게 ‘모르면 모른다고 말해줘’라고 요청하면 충분할까
많이 사용하는 프롬프트 중 하나가 있다.
“확실하지 않으면 모른다고 말해줘.”
이 조건은 분명 도움이 될 수 있다.
하지만 이것만으로 환각이 완전히 사라진다고 생각해서는 안 된다.
AI 스스로도 어떤 정보가 틀렸는지 정확하게 판단하지 못할 수 있기 때문이다.
즉, 잘못된 정보를 실제로 알고 있다고 판단한 상태라면 자신 있게 답할 가능성이 있다.
그래서 조금 더 구체적인 조건을 사용하는 것이 좋다.
예를 들어,
“확인할 수 없는 책, 논문, 통계, 인용문은 임의로 만들지 말아줘. 정확성을 보장하기 어려운 내용은 ‘확인 필요’라고 표시해줘.”
라고 요청할 수 있다.
사용자가 원본 자료를 제공한 상황이라면 더 강하게 제한할 수 있다.
“아래 자료에 있는 정보만 사용해 답해줘. 자료에 없는 내용은 추측하지 말고 ‘자료에서 확인할 수 없음’이라고 표시해줘.”
이런 방식은 보고서 요약이나 회의록 정리처럼 원본 충실도가 중요한 작업에서 특히 유용하다.
출처를 요청했다고 해서 자동으로 검증된 것은 아니다
환각을 피하기 위해 AI에게,
“출처도 같이 알려줘.”
라고 요청하는 경우가 많다.
좋은 습관이지만 여기에도 주의할 점이 있다.
AI가 제시한 출처 자체가 실제로 존재하는지 확인해야 한다.
가상의 논문 제목, 존재하지 않는 URL, 실제 기관과 비슷하지만 다른 보고서명이 만들어질 수도 있기 때문이다.
따라서 출처를 받았다면 최소한 다음을 확인해보는 것이 좋다.
논문이면 실제 논문 데이터베이스나 발행 기관에서 검색한다.
제품 기능이라면 공식 홈페이지나 공식 도움말 문서를 확인한다.
통계라면 해당 조사 기관의 원본 자료를 확인한다.
인용문이라면 실제 인터뷰나 연설 원문을 찾는다.
AI에게 출처를 요청하는 것은 검증의 시작이지 끝이 아니다.
특히 블로그 글에서 구체적인 연구나 통계를 소개할 때는 AI가 만든 참고문헌 목록을 그대로 붙여 넣지 않는 것이 좋다.
‘사실 확인용 질문’과 ‘아이디어 질문’을 구분해본다
AI를 사용할 때 모든 답변에 같은 수준의 정확성을 요구할 필요는 없다.
예를 들어,
“회의 시간을 줄일 수 있는 아이디어 10개 추천해줘.”
라는 질문에서는 새로운 아이디어가 중요한 것이지 각각의 아이디어가 이미 어디선가 사실로 검증되어 있을 필요는 없다.
반면,
“이 AI 서비스의 무료 요금제에서 현재 사용할 수 있는 기능이 무엇인지 알려줘.”
라는 질문은 사실 확인이 핵심이다.
두 질문의 성격이 다르다.
저는 이를 간단하게 생성 작업과 사실 작업으로 나누어 생각하면 편하다고 본다.
생성 작업은 다음과 같다.
제목 아이디어 만들기
글 구조 만들기
이메일 초안 작성
문장 표현 바꾸기
브레인스토밍하기
사실 작업은 다음과 같다.
현재 가격 확인
정확한 출시 날짜 확인
실제 연구 결과 확인
법이나 정책의 현재 내용 확인
제품의 공식 기능 확인
생성 작업에서는 AI의 창의성을 활용하기 좋다.
반면 사실 작업에서는 원본 출처를 확인하는 과정이 더 중요하다.
이 구분만 해도 어떤 답변을 그대로 활용할 수 있고 어떤 답변을 다시 확인해야 하는지 판단하기 쉬워진다.
질문 자체를 바꾸면 환각 위험을 줄일 수 있다
환각을 줄이는 가장 실용적인 방법 중 하나는 질문의 형태를 바꾸는 것이다.
예를 들어 다음과 같은 요청이 있다.
“생성형 AI가 기업 생산성을 몇 퍼센트 높였는지 알려줘.”
이 질문은 AI에게 하나의 숫자를 요구한다.
하지만 실제로는 산업, 기업 규모, 업무 유형, 조사 방식에 따라 결과가 달라질 수 있다.
이를 다음처럼 바꿀 수 있다.
“생성형 AI가 업무 생산성에 미치는 영향은 연구마다 다를 수 있다는 점을 전제로 설명해줘. 구체적인 수치를 언급할 경우 검증 가능한 출처가 필요한 항목이라고 표시해줘.”
이렇게 하면 단일 숫자를 억지로 만들어낼 가능성을 줄일 수 있다.
또는,
“확실하게 확인할 수 있는 정보와 일반적인 설명을 구분해서 작성해줘.”
라고 요청할 수도 있다.
원본 자료가 있을 때는 가장 좋은 방법 중 하나가 자료를 직접 제공하고 범위를 제한하는 것이다.
“아래 공식 설명을 기준으로만 기능을 정리해줘.”
처럼 말이다.
AI가 마음대로 빈 공간을 채워야 하는 범위를 줄이면 그만큼 결과를 관리하기 쉬워진다.
AI가 자신 있게 말한다고 해서 확실한 것은 아니다
사람은 보통 확신이 없으면 말투에서 어느 정도 드러난다.
“아마”
“기억이 정확하지 않은데”
“확인해봐야 할 것 같다”
같은 표현을 사용한다.
그래서 우리는 말투를 통해 상대방의 확신 정도를 어느 정도 판단한다.
하지만 생성형 AI에서는 이 기준을 그대로 적용하기 어렵다.
AI는 틀린 내용도 매우 매끄럽고 자신 있는 문체로 작성할 수 있다.
반대로 맞는 내용도 “일반적으로”, “가능성이 있다”처럼 조심스럽게 표현할 수 있다.
따라서 문장의 자신감과 사실의 정확성을 같은 것으로 보지 않는 습관이 중요하다.
“AI가 확실하다고 했으니 맞겠지.”
보다,
“이 내용이 틀렸을 때 문제가 생길 정도로 중요한가?”
를 기준으로 검증 여부를 결정하는 편이 좋다.
블로그 글을 쓸 때 환각을 줄이는 간단한 작업 순서
AI를 블로그 글 작성에 활용한다면 다음과 같은 흐름이 실용적이다.
먼저 AI를 이용해 글의 구조와 설명 초안을 만든다.
그다음 숫자, 날짜, 제품명, 연구명처럼 사실 확인이 필요한 표현을 표시한다.
필요한 경우 공식 자료나 원본 출처를 직접 확인한다.
확인할 수 없는 구체적인 내용은 삭제하거나 표현을 완화한다.
마지막으로 AI에게 원본과 초안을 다시 비교하도록 요청한다.
예를 들면 다음과 같다.
“아래 공식 자료와 내가 작성한 초안을 비교해줘. 초안에서 원본보다 과장된 표현, 원본에 없는 기능, 숫자나 조건이 달라진 부분을 찾아줘.”
이런 방식은 AI를 사실의 최종 판정자로 사용하는 것이 아니다.
AI를 검토해야 할 부분을 빠르게 찾아주는 보조 도구로 활용하는 것이다.
정보형 블로그에서는 이 습관이 특히 중요하다.
게시된 글은 독자에게 하나의 정보로 받아들여질 수 있기 때문에, 문장이 자연스러운지보다 먼저 사실이 맞는지 확인해야 한다.
마무리
AI 환각이라는 표현은 다소 거창하게 들릴 수 있지만 실제 의미는 단순하다.
생성형 AI는 사실과 다른 내용을 자연스럽고 그럴듯한 문장으로 만들어낼 수 있다.
이 현상을 이해하려면 AI를 ‘정답이 저장된 데이터베이스’로 보기보다 주어진 문맥에 맞는 결과를 생성하는 도구라고 생각하는 것이 도움이 된다.
따라서 AI 답변을 사용할 때는 모든 내용을 의심하기보다 검증이 필요한 부분을 구분하는 습관이 중요하다.
숫자, 날짜, 고유명사, 논문, 통계, 제품 기능처럼 구체적인 사실은 우선 확인한다.
출처가 필요하다면 실제 원문이 존재하는지 다시 확인한다.
원본 자료가 있다면 AI가 그 자료 밖의 내용을 임의로 추가하지 않도록 범위를 제한한다.
그리고 AI가 자신 있게 말했다는 이유만으로 정확하다고 판단하지 않는다.
생성형 AI를 잘 활용하는 사람은 AI의 모든 답변을 믿는 사람도, 모든 답변을 의심하는 사람도 아니다.
어떤 부분은 빠르게 활용하고, 어떤 부분은 반드시 확인해야 하는지 구분할 수 있는 사람에 더 가깝다.
다음 글에서는 AI 환각과 연결되는 또 하나의 중요한 개념으로, 같은 질문을 했는데도 AI의 답변이 매번 조금씩 달라지는 이유와 생성형 AI의 ‘확률적 생성’ 특성을 초보자의 관점에서 살펴본다.
FAQ
Q1. AI 환각은 단순한 오류와 무엇이 다른가요?
실제 사용에서는 엄격하게 구분하지 않고 잘못된 AI 답변을 환각이라고 부르는 경우가 많다. 특히 존재하지 않는 출처, 사실과 다른 정보, 원본에 없는 내용을 AI가 자연스럽게 만들어내는 현상을 설명할 때 자주 사용되는 표현이다.
Q2. “모르면 모른다고 말해줘”라고 입력하면 환각을 막을 수 있나요?
도움은 될 수 있지만 완전히 막을 수는 없다. AI 자체가 잘못된 내용을 사실이라고 판단할 수도 있기 때문이다. 중요한 내용은 원본 자료나 공식 출처에서 별도로 확인하는 과정이 필요하다.
Q3. 블로그 작성에서 AI 환각을 가장 쉽게 줄이는 방법은 무엇인가요?
AI는 구조와 초안 작성에 활용하고, 숫자·날짜·연구명·제품 기능처럼 구체적인 사실을 따로 표시해 검증하는 방법이 실용적이다. 확인할 수 없는 구체적인 수치나 출처는 억지로 유지하기보다 삭제하거나 더 일반적인 표현으로 바꾸는 편이 안전하다.
0 댓글