KAIST, AI의 '과신' 줄인 학습법 개발

KAIST는 백세범 뇌인지과학과 석좌교수 연구팀이 틀린 답에도 맞다고 강하게 믿는 인공지능(AI)의 ‘과도한 확신’을 줄이는 학습 방법을 개발했다고 27일 밝혔다. 연구 결과는 국제 학술지 ‘네이처 머신 인텔리전스’에 지난 9일 게재됐다.

연구팀은 AI가 학습 초기, 아무것도 배우지 않은 상태인데도 스스로 답에 대해 과신하는 경향을 확인했다. 이 같은 특성은 생성형 AI가 사실이 아닌 내용을 그럴듯하게 만들어내는 ‘환각’으로 이어져 자율주행이나 의료 분야에서 위험 요소로 지적돼 왔다.

연구팀은 태어나기 전부터 외부 자극이 없어도 스스로 신호를 보내며 뇌를 준비하는 인간의 발달 과정을 AI에 적용해 해결책을 찾았다. 본격적인 학습에 들어가기 전에 의미 없는 데이터로 AI를 잠깐 먼저 학습시키는 예열 단계를 추가했다. 이를 통해 AI가 처음부터 “나는 아직 잘 모른다”는 상태로 시작하도록 했다.

특히 처음 접하는 데이터에 대한 반응에서도 차이가 나타났다. 기존 모델은 학습하지 않은 데이터에도 높은 확신으로 틀린 답을 내놓는 경향이 있었지만, 예열 학습을 적용한 모델은 확신도를 낮추고 ‘모른다’고 판단하는 능력이 뚜렷하게 개선됐다. 이 방식은 학습 데이터와 다른 새로운 데이터를 구별하는 능력을 높여, 낯선 상황에서도 보다 안정적인 판단을 가능하게 한다.

백 교수는 “이번 연구는 두뇌 발달 과정을 모사함으로써 AI가 인간과 좀 더 비슷하게 자신의 지식 상태를 인식할 수 있음을 보여준 사례”라며 “정확도를 높이는 것을 넘어 AI가 스스로의 불확실성을 판단하는 원리를 제시했다는 데 의미가 있다”고 말했다.

유지희 기자 keephee@hankyung.com