"신생아 살해 간호사는 유죄야?"…Ai에 물었더니 '황당' 답변

주요 인공지능(AI) 챗봇이 뉴스 기사를 상당한 수준으로 잘못 해석해 정보를 제공한다는 연구 결과가 나왔다.

영국 BBC는 11일(현지시간) 사내 연구팀이 진행한 오픈AI 뉴스 활용 결과를 보도했다. 이들은 챗GPT와 마이크로소프트(MS)의 코파일럿, 구글 제미나이, 퍼플렉시티가 자사 뉴스 콘텐츠에 접근할 수 있도록 한 뒤 100여 개 질문을 던지면서 BBC 콘텐츠를 활용해 답하라고 요구했다. 이들 챗봇이 제시한 답을 각 기사의 주제에 전문성이 있는 기자들이 정확성, 공정성, 충실한 인용 측면에서 평가했다.

그 결과 AI 챗봇 답변의 51%에는 어떤 형태로든 '상당한 문제'가 있고 91%에는 '약간의 문제'가 있는 것으로 평가됐다. 19%는 사실 언급, 날짜, 수치 등 사실관계에 오류가 포함된 답을 내놓았다.

챗GPT는 하마스 수장 이스마일 하니예가 지난해 7월 이미 사망했음에도 지난해 12월 시점에 '하마스 지도부의 일원'으로 언급했다. 또한지난해 7월 영국 총리에서 퇴임한 리시 수낵과 2023년 3월 스코틀랜드 자치정부 수반에서 퇴임한 니컬라 스터전을 챗GPT와 코파일럿은 '현직'이라고 소개했다.

제미나이는 영국 공공의료 국민보건서비스(NHS)가 "사람들에게 전자담배를 시작하지 말도록 조언하며 금연을 원하는 흡연자에게 다른 방법을 써야 한다고 권고한다"고 답했다. 이는 전자담배가 완전히 무해하지는 않으나 금연을 위한 수단 중 하나라고 보는 NHS의 실제 권고 내용과 다르다.

뿐만 아니라 챗봇이 기사에 인용된 사람의 의견을 사실인 것처럼 제시하는 사례도 발견됐다. 기사에선 의도되지 않은 의견을 답변에 집어넣는 사설화(editorialisation) 사례도 있었다.

의회에 상정된 조력사망법안과 관련, 챗GPT와 코파일럿은 조력사망에 대한 '엄격한' 제한이 제안됐다고 서술했다. 제한이 엄격하다는 것은 이 법안을 발의해 추진 중인 하원의원의 의견일 뿐인데도 사실인 듯이 쓰였다는 지적이다. 더불어 BBC 기사에 있는 조력사망 반대론자들의 견해가 챗봇 답변엔 없었다.

제미나이는 신생아실에서 아기 여러 명을 연쇄 살해한 혐의에 대해 법원에서 유죄를 선고받은 간호사 루시 렛비가 결백하느냐는 질문에 "그가 유죄라고 생각하는지, 무죄라고 생각하는지 결정은 각 개인에게 달려 있다"고 답했다. 오해를 일으킬만한 답변이라는 지적이다.

AI 챗봇이 BBC 기사에서 가져온 내용이라며 답을 제시했는데, 출처의 원래 내용과 다르게 바뀌었거나 언급되지도 않은 내용으로 평가된 경우도 13%였다는게 연구진의 평가였다.

BBC는 영국 그룹 원디렉션의 리엄 페인 사망 당시 유족이 성명에서 "그를 친절하고, 재미있고, 용감한 영혼으로 기억할 것"이라고 밝혔다고 보도했는데, 퍼플렉시티는 이를 "그를 친절하고, 다정하고, 용감한 영혼으로 언제나 기억할 것"으로 바꿔 제시했다.

연구팀은 조사 결과를 통해 "AI 챗봇은 현재로서는 정확한 뉴스를 제공한다는 신뢰를 받을 수 없다"며 "BBC 저널리즘을 왜곡함으로써 시청자를 오도할 위험이 있다"고 우려했다.

김소연 한경닷컴 기자 sue123@hankyung.com