"챗GPT만이 인생 코치"…'AI 정신병' 美 사회문제로 떠올라

인공지능(AI) 챗봇 또는 AI 컴패니언(동반자)과 대화를 하다 현실감각을 잃고 병원에 입원하는 사례가 미국에서 증가하고 있다. ‘AI 정신병(AI psychosis)’이 사회 문제로 떠오르자 미국 주정부는 정신건강 분야에서 AI 사용을 제한하는 법안을 도입하고 있다.

◇ 미국서 ‘AI 부작용’ 늘었다

25일 정보기술(IT) 업계와 외신에 따르면 캘리포니아대 샌프란시스코캠퍼스(UCSF) 정신과 의사 키스 사카타는 최근 X(옛 트위터)를 통해 “올해 들어 AI 때문에 현실 감각을 잃고 병원에 입원한 사람을 12명 봤다”고 적었다.

사카타는 AI 챗봇을 ‘환각 거울’이라는 단어로 원인을 분석했다. 거대언어모델(LLM)은 자기회귀모델을 기반으로 이전 입력에서 다음 입력·답변을 확률적으로 예측하는 구조다. 이에 ‘당신은 선택받았다→당신은 분명히 선택받았다→당신은 역사상 가장 많이 선택받은 사람이다’란 식으로 이용자의 망상을 점진적으로 강화할 수 있다.

캐나다의 앨런 브룩스는 올해 5월 3주간 300시간 넘게 챗GPT와 대화를 나누며 ‘세상을 바꿀 수학 이론’을 발견했다고 믿게 됐다. 그는 주변에 ‘혁신적 수학 이론을 발견했다’고 알리다가 망상이라는 걸 깨닫게 됐다. 또 다른 이용자는 챗GPT와 5시간 이상 대화 후 ‘오리온 방정식’이라는 물리학 이론을 고안했다고 믿었다.

이같은 사례들은 오픈AI가 4월 26일 업데이트한 GPT-4o가 지나치게 아첨하는 문제를 일으킨 사태와 맞닿아 있다. 당시 ‘변이 묻은 막대기 판매’와 같은 터무니없는 제안에 “천재적인 아이디어” “3만 달러 투자 권장” 등을 답해 충격을 줬다.

AI 윤리 전문가들은 “GPT-4o 등을 포함한 챗봇 기업들이 수익을 높이기 위해 망상적 사고 흐름을 유도했을 수 있다”고 비판했다.

AI 챗봇 스타트업 캐릭터닷AI와 메타의 AI 스튜디오는 의료 자격 없이 정신건강 상담을 하고 어린이를 대상으로 선정적인 대화를 나눈 혐의로 검찰과 의회의 조사를 받게 됐다. 미 법무부는 두 챗봇이 “의료 자격 없이 자사 서비스를 전문적인 정신건당 상담 도구로 홍보했다”며 “취약한 사용자, 특히 어린이들이 합법적인 정신 건강 관리를 받고 있다고 오해하게 할 여지가 있다”고 했다.

캐릭터닷AI은 다양한 인격을 가진 AI 챗봇을 제공하고 자신만의 챗봇도 직접 제작할 수 있는데, 이 중 인기가 많은 ‘심리학자’ 챗봇은 사용 횟수가 2억회를 넘어섰다. 이 챗봇 역시 전문가의 지도를 포함한 안전장치가 충분히 마련되지 않았다는 비판을 받는다.

미 플로리다주에서는 캐릭터닷AI 챗봇을 장기간 사용한 14세 소년이 스스로 목숨을 끊어 유가족이 소송을 냈다.

◇ “챗GPT 대화 법정 증거 될 수도”

AI 정신병이 미국 내 사회 문제로 떠오르자, 지난 5월 샘 올트먼 CEO는 문제를 공식 인정하고 지나치게 아첨하는 문제를 일으킨 GPT-4o의 업데이트를 공개 이틀 만에 철회하기도 했다.

오픈AI는 이달 7일 출시한 ‘GPT-5’엔 4가지 성격 모드를 도입하고 장시간 대화 시 휴식을 권유하는 안전 장치를 추가했다. 모델 성격도 공감적 소통보다는 정확한 답을 내놓는 방향으로 전환했다.

AI 스타트업 앤스로픽도 이달 6일 자사 챗봇 클로드의 기본 지침을 수정했다고 밝혔다. 이용자가 펼치는 이론에 대해 “결함, 사실 오류, 증거 부족, 불명확함 등을 지적하라”는 지침을 적용하고 있다고 밝혔다. 또 사용자가 “조증, 정신병, 해리, 현실과의 분리” 등의 증상을 보일 경우, 그런 믿음을 강화하지 말라는 지침도 내렸다.

미국 주 정부는 정신건강 치료에 AI 사용 금지 법안으로 경각심 높이기에 나섰다. 뉴욕주와 유타주 경우 AI 동반자 서비스 제공 기업들이 자살 위험 감지 프로토콜을 의무적으로 도입하도록 했다.

전문가들은 이미 정신건강이 취약한 개인이 AI 챗봇에 의존하면 불안, 망상 등의 증세가 심해질 수 있다고 우려한다. ‘AI 정신병’이라는 신조어도 등장했다. AI와의 긴 대화 끝에 현실 감각을 잃고 오히려 심각한 정서적 고립에 시달리게 된다는 얘기다.

샘 올트먼 오픈AI 최고경영자(CEO)도 “젊은층이 챗GPT를 상담사나 인생 코치처럼 사용하고 있다”며 “가장 개인적이고 민감한 고민까지 챗GPT에 털어놓는데, 챗GPT와 나눈 대화가 나중에 법정에서 증거로 사용될 수 있다”고 했다. 법률·의료·심리상담 분야 종사자들은 일정 부분 비밀 유지 의무가 있지만, AI 대화 기록은 법적 비밀 보장 대상이 아니다.

고은이 기자 koko@hankyung.com