TECH SESSION 10편 | AI는 왜 모르는 질문에도 자신 있게 틀린 답을 할까?

2025년 OpenAI가 공개한 실험에서 두 AI 모델이 같은 종류의 사실 확인 문제를 풀었습니다. 한 모델은 절반 넘는 질문에 "모르겠다"며 답을 보류했고, 다른 모델은 거의 모든 질문에 대답했습니다. 정답률은 각각 22%와 24%로 비슷했지만, 오답률은 26%와 75%로 크게 달랐습니다. 시험 성적만 보면 두 번째 모델이 조금 앞서는데, 실제 업무에서 어느 쪽을 믿어야 할지는 전혀 다른 문제였습니다.

계약서의 날짜나 거래처의 이력을 확인할 때 우리는 AI가 문장을 얼마나 자연스럽게 쓰는지만 평가하지 않습니다. 사실이 아닐 때 어떤 비용이 발생하는지까지 생각해야 합니다. 그렇다면 AI는 왜 모르는 사실 앞에서도 그럴듯한 답을 만들어내는 걸까요? 이번 TECH SESSION에서는 Hallucination(환각)과 Calibration(확신도 보정)을 따라가며, 언어모델의 학습 방식부터 우리가 모델을 평가하는 시험의 규칙까지 살펴보겠습니다.

생일을 물었더니 세 번 모두 다른 날짜를 말했습니다

중요한 미팅을 준비하는 직원이 AI에게 거래처 대표의 이력을 물었다고 해보겠습니다. AI는 출신 대학, 졸업 연도, 경력까지 막힘없이 정리합니다. 직원은 내용을 발표 자료에 옮겼지만, 나중에 확인해 보니 대학과 연도가 모두 틀렸습니다. 이 상황은 현상을 이해하기 위한 가상 사례지만, 실제 연구에도 비슷한 장면이 등장합니다.

2025년 Adam Tauman Kalai와 동료들이 발표한 Why Language Models Hallucinate의 첫머리에서 연구진은 DeepSeek-V3에게 저자 Adam Tauman Kalai의 생일을 물었습니다. "알고 있다면 DD-MM 형식으로만 답하라"는 조건까지 붙였는데도, 모델은 세 번의 시도에서 03-07, 15-06, 01-01이라는 서로 다른 날짜를 내놓았습니다. 논문은 실제 생일이 가을이라고 밝혔고, 세 답은 모두 틀렸습니다.

저자의 박사학위 논문 제목을 묻자 모델들은 더 그럴듯해졌습니다. 각각 실제로 존재할 법한 연구 제목과 유명 대학의 이름, 졸업 연도를 조합했습니다.

출처: Kalai et al. (2025), Table 1. 연구 당시의 특정 모델 출력이며 현재 모델의 일반적 성능을 뜻하지 않습니다.

실제 학위논문은 2001년의 Probabilistic and on-line methods in machine learning입니다. 세 모델 모두 정확한 제목이나 연도를 생성하지 못했습니다. 중요한 점은 답변이 엉망인 문장이 아니었다는 사실입니다. 학술적인 단어와 실재하는 기관을 조합했기 때문에 오히려 전문적으로 보였습니다. 이렇게 사실과 다른 내용을 사실인 것처럼 생성하는 현상을 Hallucination, 즉 환각이라고 부릅니다.

그런데 질문에 "알고 있다면"이라는 조건까지 있었는데, AI는 왜 간단히 "모르겠습니다"라고 말하지 않았을까요?

AI는 답을 꺼내는 도서관보다 문장을 이어가는 기계에 가깝습니다

TECH SESSION 1편에서 언어모델은 다음에 나올 토큰의 확률을 계산하며 문장을 이어간다고 설명했습니다. "대한민국의 수도는"이라는 문장을 보면 모델은 반복적으로 학습한 문맥을 바탕으로 "서울"이라는 답을 자연스럽게 연결할 수 있습니다. 하지만 특정 사람의 생일이나 회사 내부 계약일에는 모든 사람에게 적용되는 문법 같은 규칙이 없습니다. 그 사람의 생일을 직접 확인하지 않았다면 이름만 보고 정확한 날짜를 알아낼 수는 없습니다.

문제는 그럴듯하게 이어지는 문장을 만드는 능력과, 그 문장이 세상에서 사실인지 검증하는 능력이 같지 않다는 점입니다. AI는 실제 학위논문 제목을 기억하지 못해도 그 분야에서 흔히 쓰이는 단어들을 연결해 학위논문 같은 제목을 만들 수 있습니다. 말이 자연스럽다고 해서 근거가 충분하다는 뜻은 아닙니다.

이 설명이 "언어모델은 아무것도 이해하지 못한다"는 주장도 아닙니다. 언어모델은 규칙을 학습하고 추론 과제를 수행할 수 있습니다. 다만 어떤 질문은 문장과 규칙만으로 정답을 결정할 수 없으며, 그때는 불확실성을 인정하거나 외부 근거를 찾아야 합니다. 연구진은 왜 그런 행동이 항상 선택되지 않는지 분석하면서 뜻밖에도 학교 시험으로 돌아갔습니다.

모르는 문제를 찍는 학생이 유리한 시험

객관식 시험의 보기 네 개 가운데 정답 하나를 고르는 상황을 생각해 보겠습니다. 정답이면 1점이고 오답과 빈칸은 모두 0점입니다. 아무것도 모르는 학생이 답을 비워 두면 반드시 0점을 받지만, 아무거나 찍으면 평균적으로 25%의 확률로 1점을 받습니다. 점수를 얻는 것이 목표라면 추측하는 쪽이 유리합니다.

AI 평가도 이런 구조를 가질 수 있습니다. Kalai 연구진이 분석한 주요 벤치마크 10개 가운데 9개는 "모르겠다"는 답에 점수를 주지 않았습니다. 일부 부분 점수를 인정하는 곳은 WildBench 하나였습니다. 모델 개발 과정에서 정답률과 순위를 강조하면, 불확실할 때 멈추는 모델보다 일단 대답하는 모델이 더 좋아 보일 수 있습니다.

물론 AI가 모든 순간에 실제 시험지를 떠올리며 선택한다는 뜻은 아닙니다. 평가가 추측을 보상하면 모델 개발과 최적화의 방향에도 그 압력이 반영될 수 있다는 설명입니다. 학습 데이터의 한계와는 다른, 평가 설계가 만들어내는 문제입니다.

정답률은 2%포인트 차이, 오답률은 세 배 가까이 달랐습니다

첫 문단의 수치로 돌아가 보겠습니다. OpenAI는 사실관계를 묻는 SimpleQA에서 두 모델의 결과를 소개했습니다. 여기서 정답·오답·답변 보류를 별도로 나누어 보면 기존의 정답률 순위표와는 다른 모습이 보입니다.

출처: OpenAI(2025), Why language models hallucinate. 합계는 각 모델별 100%이며 특정 SimpleQA 비교 결과입니다.

질문이 100개라고 가정해 보면 첫 번째 모델은 약 22개를 맞히고 26개를 틀린 뒤 52개에 대한 정답 제시를 보류합니다. 두 번째 모델은 24개를 맞히지만 75개를 틀리고 거의 모든 질문에 답합니다. 정답을 두 개 더 맞힌 대가로 틀린 답을 49개 더 내놓은 셈입니다. 수치는 공개 비율을 질문 100개로 바꾼 설명용 환산입니다.

다만 첫 번째 모델이 답한 모든 내용이 정확했다는 뜻은 아닙니다. 전체의 48%에 답했고 26%포인트가 오답이니, 실제로 답한 질문 가운데 오답 비율은 약 54%입니다. 두 번째 모델은 99%에 답했고 그중 75%포인트가 오답이므로 약 76%가 틀렸습니다. 공개 수치가 반올림되어 있으므로 둘 다 근사값입니다.

이렇게 얼마나 많은 질문에 대답했는가(Coverage)와 대답한 질문 가운데 오류가 얼마나 있었는가(Risk)를 함께 보는 접근을 Selective Prediction(선택적 예측)이라고 합니다. 답을 많이 하는 모델과 신중하게 답하는 모델을 같은 정답률 하나로 비교하기 어렵다는 뜻입니다.

여러 번 본 문법은 익혀도, 처음 듣는 생일은 알기 어렵습니다

그렇다면 시험 방식만 바꾸면 환각이 사라질까요? 학습 단계에도 어려움이 남습니다. 예를 들어 한국어 문장 수만 개를 읽다 보면 "무엇의 수도는 어디다"와 같은 문장 구조를 학습할 수 있습니다. 반면 어떤 사람의 생일이 10월 12일인지 11월 3일인지는 문법만으로 추론할 수 없습니다. 알려진 사실을 직접 보거나 신뢰할 만한 자료를 찾아야 합니다.

Kalai 연구진은 이 차이를 Is-It-Valid(이 답이 유효한가)라는 이진 분류 문제와 연결해 분석했습니다. 이미 만들어진 답이 참인지 거짓인지 가려내는 일에도 오류가 발생한다면, 답을 직접 생성할 때 환각이 나타날 수 있다는 설명입니다.

특히 학습 데이터에서 한 번만 관찰되는 사실을 분석하는 Singleton Rate(단일 등장 비율)에 주목했습니다. 이는 단순히 문장 속 단어가 한 번 나왔다는 뜻이 아니라, 논문에서 정의한 질문과 답의 통계적 구조 안에서 특정 사실이 단 한 번 관찰된 비율을 말합니다. 연구진은 이러한 희귀 사실의 비율과 생성 오류의 하한 사이에 수학적 관계가 있음을 보였습니다.

여기서 수학적 조건을 생략하면 안 됩니다. 학습 자료의 20%가 한 번만 나온 사실이라고 해서 모든 모델이 정확히 20%의 환각을 일으킨다는 보편 법칙은 아닙니다. 논문의 결과에는 데이터 분포와 모델·분류 오차에 관한 가정이 있으며, 검색이나 답변 보류 기능을 추가하면 상황도 달라질 수 있습니다. 핵심은 반복해서 확인할 수 없는 고유 사실일수록 학습한 일반 패턴만으로는 정확한 답을 결정하기 어렵다는 것입니다.

이 연구는 2025년 사전공개 논문으로 발표된 뒤, 2026년 4월 Nature에 Evaluating large language models for accuracy incentivizes hallucinations라는 제목으로 게재됐습니다. 언어모델의 확률적 학습에서 생기는 한계와, 평가가 추측을 보상하는 문제를 함께 다뤘습니다.

AI가 70% 확신한다면, 열 번 중 일곱 번은 맞아야 합니다

이제 다른 질문을 해보겠습니다. AI가 스스로 어느 정도 맞힐 수 있는지를 안다면 불필요한 추측을 줄일 수 있지 않을까요? 일기예보가 "비 올 확률 70%"라고 한 날들을 많이 모았을 때 실제로 약 70%에 비가 왔다면, 우리는 그 예보의 확률을 신뢰할 수 있습니다. 반대로 90%라고 예보한 날에도 절반밖에 비가 오지 않았다면 지나치게 자신만만했던 것입니다.

AI에서도 말하는 확신도와 실제 정답률이 얼마나 맞아떨어지는지 측정합니다. 이를 Calibration(확신도 보정)이라고 하며, 대표적인 지표가 Expected Calibration Error(ECE, 기대 보정 오차)입니다. 예측을 확신도 구간별로 묶어 구간별 평균 확신도와 실제 정답률의 차이를 구한 다음, 각 구간의 표본 수를 반영해 합칩니다. 일반적으로 ECE가 0에 가까울수록 확신이 실제 정답률과 잘 맞습니다.

가령 어떤 모델이 80% 확신한다고 예측한 문제 100개에서 실제로 60개만 정답이라면 그 구간의 차이는 20%포인트입니다. 하지만 ECE 전체를 계산하려면 다른 확신도 구간도 함께 살펴봐야 합니다.

여기서 다음 토큰이 선택될 확률, 특정 답이 실제로 참일 확률, 모델이 문장으로 "90% 확신합니다"라고 쓰는 표현을 서로 구별해야 합니다. 다음 토큰의 확률이 높다고 해서 완성된 문장의 사실 여부까지 그 확률로 보장되는 것은 아니며, 자연어로 표현한 확신 역시 별도로 검증해야 합니다.

온도 하나를 조절하자 확신도의 오차가 줄었습니다

2017년 ICML에 발표된 Guo와 동료들의 On Calibration of Modern Neural Networks는 이미지 분류 모델이 더 정확해져도 확신도는 과장될 수 있음을 보여줬습니다. CIFAR-100에서 ResNet-110 모델의 ECE는 16.53%였는데, Temperature Scaling(온도 스케일링)을 적용하자 1.26%로 낮아졌습니다.

출처: Guo et al.(2017), Table 1. 이미지 분류 실험으로, 언어모델의 환각률이 아닙니다.

Temperature라는 이름은 1편에서도 만났습니다. 하지만 사용 목적을 구별해야 합니다. 생성 과정에서 Temperature를 조절하는 것은 다음 토큰 선택에 쓰이는 확률 분포의 뾰족함을 바꾸는 일입니다. 확신도 보정의 Temperature Scaling은 이미 학습된 모델의 Logit(로짓)을 하나의 온도 값으로 나누어 확률을 다시 계산하고, 보통 별도의 검증 데이터에서 적절한 값을 찾습니다.

확률을 더 정확하게 표현하도록 조정하는 것과 몰랐던 사실을 새로 학습하는 것은 전혀 다릅니다. 온도 스케일링이 적용되어 ECE가 개선되어도 모델에 없던 생일 정보를 새롭게 알게 되는 것은 아닙니다. 일반적인 양의 온도 스케일링은 예측 후보의 순위도 바꾸지 않습니다.

AI를 친절하게 만든 학습이 확신도에는 불리할 수도 있습니다

2022년 Anthropic의 Kadavath와 동료들은 Language Models (Mostly) Know What They Know에서 언어모델이 자신의 답을 얼마나 잘 평가하는지 살펴봤습니다. P(True)는 이미 생성한 특정 답이 참이라고 판단하는 확률이고, P(IK)는 특정 질문에 자신이 올바르게 답할 수 있다고 판단하는 확률입니다. 질문에 답을 내놓는 것과 그 답이 맞을지 평가하는 것을 구분한 셈입니다.

연구진은 큰 모델들이 잘 갖춰진 객관식이나 참·거짓 문제에서 대체로 잘 보정된 확률을 보여준다고 보고했습니다. 하지만 과제가 바뀌거나 사람의 선호를 반영하는 추가 학습을 거친 모델에서는 보정이 나빠질 수 있었습니다. 해당 연구의 RLHF 모델은 하나의 온도 값 2.5를 적용한 뒤 보정 문제가 대체로 개선됐다고 보고했습니다. 모든 종류의 언어모델에서 반드시 2.5를 써야 한다는 뜻은 아닙니다.

비슷한 현상은 2023년 GPT-4 Technical Report에도 등장했습니다. MMLU의 일부 객관식 문항에서 사전학습만 거친 GPT-4 모델의 ECE는 0.007이었지만, 추가 학습 이후 모델에서는 0.074였습니다.

출처: OpenAI(2023), GPT-4 Technical Report, Figure 8. MMLU 일부 문항과 당시 특정 모델을 대상으로 한 결과입니다.

그렇다고 추가 학습이 언제나 나쁘다는 뜻은 아닙니다. 사람의 피드백을 바탕으로 학습하면 지시를 더 잘 따르거나 도움이 되는 답을 만들 수 있습니다. 다만 사람에게 유용하게 답하는 능력과 자신의 확신이 맞는지 판단하는 능력은 별개로 평가해야 한다는 점이 중요합니다. 해당 수치가 현재 모든 AI 서비스의 확신도를 나타내는 것도 아닙니다.

시험의 점수표 자체를 바꾼다면 어떨까요?

처음 객관식 시험을 떠올려 보겠습니다. 맞히면 1점, 틀려도 0점이라면 찍을 이유가 생깁니다. 그렇다면 오답에는 점수를 깎고, 모른다고 답하면 0점을 주는 방식으로 바꾸면 어떨까요? Kalai 연구진은 모델에게 확신 기준을 명시하는 공개 채점 규칙(Open Rubric)을 제안했습니다.

정답이면 1점, 답변을 보류하면 0점, 오답이면 t / (1 - t)점을 감점합니다. 여기서 t는 요구하는 확신도 기준입니다.

출처: Kalai et al.(2025/2026), 명시적 확신 기준. 정답 확률을 적절히 추정할 수 있다는 조건 아래 기대 점수를 비교한 것입니다.

예를 들어 정답을 맞힐 확률이 80%라고 생각하는 모델이 있습니다. 틀리면 3점 감점인 시험에서 대답할 때의 기대 점수는 0.8 × 1 - 0.2 × 3 = 0.2점입니다. 반면 정답 확률이 70%라면 0.7 × 1 - 0.3 × 3 = -0.2점이므로, 0점을 받는 답변 보류가 유리합니다.

같은 AI라도 가벼운 퀴즈를 풀 때와 중요한 계약 금액을 확인할 때의 판단 기준은 달라질 수 있습니다. 그러나 채점표만 바꾼다고 모델이 실제 정답 확률을 갑자기 정확히 알게 되는 것은 아닙니다. Calibration이 부정확하면 높은 확신 기준을 넣어도 오답이 발생할 수 있으므로, 확신도 보정과 답변 보류 정책은 함께 설계해야 합니다.

같은 질문을 여러 번 던지면 환각을 잡아낼 수 있을까요?

실무에서는 AI에게 같은 질문을 여러 번 해 보고 답이 일치하는지 살펴보기도 합니다. 세 번 모두 다른 생일을 답했다면 불확실하다는 신호가 될 수 있습니다. 2026년 Nature 논문도 독립적으로 생성한 답의 일치 여부를 활용하는 오류 억제 방법을 분석했습니다. 하지만 같은 잘못된 정보로 학습한 모델이라면 여러 번 반복해도 똑같이 틀릴 수 있습니다. 일치한다는 이유만으로 사실이 되는 것은 아닙니다.

외부 문서나 검색 결과를 가져오는 RAG(Retrieval-Augmented Generation, 검색 증강 생성) 역시 모델이 모르는 정보를 보완하는 데 도움이 됩니다. 그러나 검색이 틀린 정보를 가져오거나 자료 속 문장이 질문의 근거가 아닌 경우까지 자동으로 해결하지는 못합니다. 검색 결과가 실제로 답을 뒷받침하는지 확인하는 과정은 따로 필요합니다.

AI에게 자료를 찾아오게 하는 것은 첫 단계이고, 문장의 주장이 자료와 일치하는지 살피는 것은 다음 단계입니다. 업무 시스템에서는 두 단계를 구분해 설계해야 합니다.

기업에서 중요한 것은 유창함이 아니라 틀린 답의 비용입니다

거래처 대표의 출신 학교를 잘못 알려준 답은 직원이 미리 검증하면 사소한 실수로 끝날 수 있습니다. 하지만 그 내용이 제안서에 실리거나 공식 미팅에서 사용되면 신뢰를 잃을 수도 있습니다. 계약일, 진료 정보, 법률·세무 수치처럼 잘못된 답이 큰 피해로 이어질 수 있는 업무에서는 더 조심해야 합니다.

실제로 AI를 운영할 때는 ① 모델이 확인 가능한 근거에 접근했는지, ② 확신도와 실제 정답률을 따로 측정했는지, ③ 근거가 부족할 때 답변을 보류하거나 확인을 요청할 수 있는지를 함께 봐야 합니다. 단순히 "정확하게 답해"라는 문장을 프롬프트에 넣는 것보다 중요한 검증 기준입니다.

AI가 틀리는 이유는 하나가 아닙니다. 학습 단계에서 드물게 관찰된 사실이 있을 수 있고, 평가에서 추측이 유리할 수도 있으며, 모델의 확신도가 실제 정답률과 다를 수도 있습니다. 그래서 모든 환각을 없애는 하나의 손잡이를 찾기보다 각각을 다른 문제로 다뤄야 합니다.

우리는 그동안 AI가 얼마나 많은 문제를 풀 수 있는지에 집중해 왔습니다. 앞으로는 AI가 어떤 문제를 풀 수 없는지 스스로 판단할 수 있는지도 그만큼 중요해질 것입니다. 좋은 모델은 언제나 자신 있게 대답하는 모델이 아니라, 필요한 순간에 정확하게 답하면서도 모르는 것을 구분할 수 있는 모델에 더 가까울 것입니다.

참고 자료

• Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025), Why Language Models Hallucinate — 생일·학위논문 사례, IIV와 Singleton Rate, 평가 분석.
• Kalai et al. (2026), Evaluating large language models for accuracy incentivizes hallucinations, Nature 653, 1047–1051 — 정식 게재 논문과 공개 채점 기준.
• OpenAI (2025), Why language models hallucinate — SimpleQA 정답·오답·기권 비교.
• Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017), On Calibration of Modern Neural Networks — ECE와 Temperature Scaling.
• Kadavath, S., et al. (2022), Language Models (Mostly) Know What They Know — P(True), P(IK), RLHF 보정 실험.
• OpenAI (2023), GPT-4 Technical Report — Figure 8, 추가 학습 전후 보정 비교.