[동아광장/이은주]모르는 것은 모른다고 말할 수 있는 사회

2 hours ago 1

명쾌한 이분법의 매력, 그러나 현실은 복잡
‘모르겠다’에 벌 주는 구조가 AI 환각 불러
확실한 오답이 정직한 무지를 이기는 사회
불확실성 인정하면 판단 과정 더 건강해져

한때 변호사가 되고 싶다고 생각했을 만큼 어려서부터 법정 드라마를 좋아했다. 정의의 편인 변호사가 결정적인 질문을 던지고 “증인은 ‘예, 아니요’로만 대답하세요”라고 단호하게 몰아붙이면, 궁지에 몰린 빌런이 제대로 답을 못 한 채 어버버하는 걸 보면서 얼마나 상쾌하고 통쾌했던지.

그런데 연구자로 살면서 복잡다단한 사회현상을 들여다보면 볼수록, 예나 아니요로 무 자르듯 답할 수 없는 문제가 생각보다 훨씬 많다는 것을 깨닫게 된다. 사람마다 다르고 상황에 따라 답이 달라지는 경우가 허다하기 때문이다. 그때는 맞고 지금은 틀린 경우도 부지기수다. 드라마 속 명쾌한 이분법을 현실에서는 오히려 찾기 어렵다.

지난해 9월 오픈AI와 미국 조지아공대 연구진이 발표한 논문은 인공지능(AI)의 ‘할루시네이션(Hallucination·환각 현상)’, 즉 사실처럼 들리지만 틀린 정보를 자신 있게 내놓는 문제의 원인을 분석했다. 이들은 사전 훈련 단계에서 사용되는 데이터 관련 문제 외에 사후 훈련 단계에서도 환각이 강화될 수 있다는 점을 발견했다. 연구진이 검토한 10개의 주요 AI 평가 기준 중 9개가 정답에 1점을, 오답에 0점을 주는 이진법적 채점 구조를 가지고 있었다. 문제는 “모르겠다”는 답에도 오답과 마찬가지로 0점을 배정했다는 점이다. 이처럼 틀린 답과 정직한 무지가 동일하게 벌을 받는 상황이라면, 틀릴 가능성이 있더라도 일단 찍고 보는 것이 최적의 전략이 된다. 소 뒷걸음치다가 쥐 잡는 격으로 정답을 맞힐 수도 있으니, 공연히 모른다고 이실직고할 이유가 없다.

이 논문은 AI 환각이 불가피한 것이 아니라 잘못된 인센티브 구조의 결과임을 지적한다. 문제는 AI를 평가하고 훈련시키는 인간의 방식, 보다 구체적으로 잘못 설계된 보상 체계에 있다는 것이다. 확실하지 않다는 겸손한 고백보다는 명확한 답을 우리는 선호하고, AI는 그 요구대로 행동하고 있을 뿐이다.

실제로 메타와 독일 뮌헨공대 연구진이 발표한 다른 연구에서는 AI가 불확실성이 높다고 판단한 답변 상위 5∼25%를 걸러내자 답변의 정확도가 최대 8%까지 향상됐다. 물론 답변을 거부하는 비율이 높아질수록 이용자의 불만은 높아질 것이다. 그런가 하면 “아인슈타인이 어떤 색깔 아이폰을 썼나?”처럼 애초에 답이 없는 질문에 대해서도, 불확실성을 기준으로 “빨간색” 같은 엉터리 답변의 상당수를 걸러낼 수 있었다. 흥미로운 사실은 AI가 어느 정도 자신이 모른다는 것을 언어적으로 표현하고 있다는 점이다. 답이 없는 질문에 대한 AI의 응답에는 “아마도”, “…일 수 있다”와 같은 완곡 표현이 평균 4.79개 포함된 반면, 답이 있는 질문의 응답에는 그러한 표현이 1.67개에 불과했다. 이러한 결과는 AI가 모르는 것을 모른다고 말할 수 있도록 설계하고 훈련하는 것이 정확성과 신뢰성을 높이는 유효한 전략임을 시사한다.

이러한 원칙은 인간 사회에서도 다르지 않다. 인간은 본능적으로 불확실성을 불편해하고 적극적으로 이를 줄이려고 한다. 하지만 불확실성을 기피하는 경향은 복잡한 문제를 단순화하고, 충분히 검증되지 않은 정보를 성급하게 사실로 받아들이거나, 다양한 가능성을 배제한 채 하나의 해석에만 매달리게 만들 수 있다. 특히 신속한 의사결정이 요구되는 사회일수록 이러한 경향은 더욱 강화된다. 다양한 가능성을 고려하는 것은 우유부단함이요, 돌다리도 두드려 보는 신중함은 무능함으로 치부되기 십상이다. 그 결과 빠르고 확신에 찬 오답이 느리고 정직한 “모르겠습니다”를 이기는 일이 반복된다.

지난해 12월, 이재명 대통령 주재 농림축산식품부 업무보고 생중계 자리에서 한 공무원이 유전자변형식품(GMO)과 콩 수급에 관한 돌발 질문에 구체적 수치를 들어 명확하게 답했다. 언론은 그에게 ‘콩GPT’라는 별명을 붙였고 대통령실은 이를 업무보고의 모범 사례로 꼽았지만, 며칠 후 해당 답변에 사실적 오류가 있었음이 밝혀졌다. 우리가 칭찬한 것은 정확성이 아니라 자신감이었다. 확실하게 답하는 사람이 박수를 받는 환경에서 모른다고 말하는 것은 상당한 용기를 필요로 한다. 한 치 앞을 보기 힘든 격변의 시대를 살고 있다 보니, 아마도 그렇기 때문에 더더욱 우리는 믿고 의지할 만한 확실한 답을 원하는지도 모른다. 하지만 불확실성이 어쩔 수 없는 현실의 일부라는 사실을 받아들이는 순간 우리는 더 겸손해지고, 더 신중해지며 궁극적으로 더 나은 판단을 내릴 수 있다. 이는 개인뿐 아니라 사회 전체의 의사 결정 과정도 더 건강하게 만든다. 아, 물론 속속들이 다 기억하면서도 “모르겠다, 기억나지 않는다”로 일관하는 법정 증인의 경우는 논외다.