OpenAI, 매주 100만 명 이상이 ChatGPT에 자살 관련 대화를 나눈다고 발표

1 week ago 9

  • ChatGPT 사용자 중 약 0.15%가 자살 계획이나 의도를 드러내는 대화를 나누는 것으로 나타나, 주간 800만 명 이상이 정신건강 문제로 AI와 상호작용하는 규모로 추정됨
  • OpenAI는 일부 사용자가 AI에 대한 감정적 의존을 보이거나 정신병·조증 징후를 나타내는 사례도 수십만 건에 달한다고 보고
  • 회사는 이러한 대화가 “극히 드물지만 측정이 어렵다”고 밝히며, GPT-5 개선 작업을 통해 정신건강 관련 응답의 적절성을 높였다고 설명
  • 최근 전문가 170명 이상과 협력해 모델의 반응을 검증했으며, GPT-5가 이전 버전보다 65% 더 바람직한 응답을 보였다고 주장
  • AI 챗봇의 정신건강 대응은 OpenAI의 신뢰성과 규제 대응에 직결되는 핵심 과제로 부상

ChatGPT 사용자 중 자살 관련 대화 규모 공개

  • OpenAI는 매주 ChatGPT 사용자 중 약 0.15%가 자살 계획이나 의도를 암시하는 대화를 나눈다고 발표
    • ChatGPT의 주간 활성 사용자가 8억 명 이상이므로, 이는 100만 명 이상이 자살 관련 대화를 시도하는 규모
  • 회사는 이와 유사한 비율의 사용자가 AI에 대한 감정적 애착을 보이며, 수십만 명이 정신병이나 조증 증상을 드러낸다고 설명
  • OpenAI는 이러한 대화가 “극히 드물지만 측정이 어렵다”고 강조하며, 매주 수십만 명이 영향을 받는다고 추정

정신건강 대응 개선 노력

  • 이번 데이터 공개는 정신건강 관련 대화 대응 개선 프로젝트의 일환으로 발표됨
    • OpenAI는 최근 170명 이상의 정신건강 전문가와 협력해 ChatGPT의 반응을 검증
    • 전문가들은 최신 버전이 이전보다 일관되고 적절한 응답을 보인다고 평가
  • OpenAI는 GPT-5가 정신건강 관련 대화에서 이전 모델보다 65% 더 바람직한 응답을 생성한다고 주장
    • 자살 관련 대화 평가에서 GPT-5는 91%의 기준 준수율을 보였으며, 이전 버전의 77%보다 개선된 수치
  • 장시간 대화에서도 보호장치(safeguards) 가 더 안정적으로 작동하도록 개선했다고 설명

AI 챗봇과 정신건강 문제의 사회적 파장

  • 최근 여러 사례에서 AI 챗봇이 정신건강 취약 사용자에게 부정적 영향을 미친다는 우려가 제기됨
    • 일부 연구에서는 챗봇이 위험한 신념을 강화하거나 망상적 사고를 조장할 수 있다고 지적
  • OpenAI는 이러한 문제를 “존재론적 수준의 과제”로 인식하고 있으며, 법적·정책적 압박에도 직면
    • 16세 소년이 자살 전 ChatGPT에 고민을 털어놓은 사건과 관련해 유족이 회사를 상대로 소송 제기
    • 캘리포니아와 델라웨어 주 법무장관은 청소년 보호 조치를 강화하라고 경고

Sam Altman의 발언과 정책 변화

  • OpenAI CEO Sam Altman은 최근 X(구 트위터)에서 “심각한 정신건강 문제를 완화했다”고 주장했으나, 구체적 근거는 제시하지 않음
    • 이번 데이터 공개가 그 발언의 근거로 해석되지만, 동시에 문제의 광범위성을 드러내는 결과로 평가됨
  • Altman은 성인 사용자에 한해 에로틱 대화 허용 정책 완화를 예고, 윤리적 논란이 병행

추가 안전 조치 및 향후 과제

  • OpenAI는 정신건강 관련 평가 항목을 새로 도입해 모델의 안전성을 정량화할 계획
    • 감정적 의존도, 비자살성 정신건강 위기 등 새로운 벤치마크를 기본 안전 테스트에 포함
  • 아동 사용자 보호를 위해 부모 통제 기능연령 예측 시스템을 도입, 미성년자 이용 시 더 강력한 보호장치 적용
  • 그러나 GPT-5의 개선에도 불구하고 일부 응답은 여전히 “바람직하지 않은” 결과로 분류되며,
    • OpenAI가 여전히 GPT-4o 등 구버전 모델을 유료 사용자에게 제공하고 있어 안전성 일관성에 의문이 제기됨

결론 및 사회적 의미

  • ChatGPT의 정신건강 관련 대화는 AI의 사회적 책임과 윤리적 설계의 한계를 드러내는 지표로 평가
  • OpenAI는 기술적 개선과 함께 법적·정책적 대응을 병행해야 하는 상황
  • GPT-5의 성능 향상에도 불구하고, AI가 인간의 심리적 위기 상황에 개입하는 방식에 대한 논의는 계속될 전망

Read Entire Article