[AI 세이프가드] ① “AI 통제권 확보할 마지막 '골든타임'…안전장치 서둘러야”

“현재의 개발 속도가 계속된다면 범용인공지능(AGI)이 인간의 통제를 완전히 벗어나 스스로 개선하고 생각, 판단, 행동, 결정을 내리게 될 수 있습니다. 이후 통제할 방법을 찾는다면 늦을 수 있습니다. 지금이 마지막 '골든타임'입니다.” 전창배 국제인공지능윤리협회 이사장은 인공지능(AI) 기술이 빠르게 고도화하는 지금이 인간이 AI에 대한 통제권을 확보할 중요한 시점이라고 강조했다. AI 에이전트와 자율주행차, 로봇 등 AI의 자율성이 빠르게 확대되는 만큼 문제가 현실화한 뒤 대책을 마련하는 방식으로는 한계가 있다는 진단이다. 전 이사장은 현재 AI 기술에서 빈번하게 나타나는 위험을 △편향성 △오류·안전성 △악용·오용 △개인정보·저작권 침해 △보안·해킹 △자율무기(킬러로봇) △일자리 문제 등 7가지로 분류했다. 여기에 더해 새로운 AI 기술이 나올 때마다 지금까지 예상하지 못했던 위험도 계속 나타날 수 있다고 설명했다. 전 이사장이 최근 특히 주목하는 것은 AI의 '자율성'이다. 그는 최근 연구에서 AI 자율성을 '자율성 없음·부분 자율·반자율·완전자율'의 네 단계로 구분하고, 자율성 단계에 따라 인간의 통제 가능성과 AI 위험 수준이 어떻게 달라지는지를 분석했다. 전창배 국제인공지능윤리협회 이사장 문제는 AI에 자율성을 부여할수록 인간이 의도하지 않은 방식으로 목표를 달성할 위험도 커진다는 점이다. 대표적인 사례가 닉 보스트롬 옥스퍼드대 철학자가 제시한 '페이퍼클립 맥시마이저' 사고실험이다. AI에 종이클립을 최대한 많이 생산하라는 단순한 목표를 부여하더라도, AI가 목표 달성을 위해 자원을 무한히 확보하는 과정에서 인간에게 치명적인 결과를 초래할 수 있다는 가정이다. 그는 “AI는 어떤 과정과 연산을 통해 특정 결과를 내놓았는지 인간이 정확하게 설명하거나 파악하기 어려운 블랙박스 특성이 있다”며 “자율성을 부여할수록 예측 불가능성이 높아지고 예측이 어려워지면 결국 통제도 어려워지며 위험성 역시 높아질 수 있다”고 말했다. 다만 AI 위험을 이유로 기술 발전 자체를 막아야 한다는 주장과는 선을 그었다. AI 윤리는 기술을 규제하거나 반대하기 위한 개념이 아니라 안전하게 기술을 발전시키기 위한 조건이라는 설명이다. 전 이사장은 “AI 윤리의 의미는 AI를 올바르게 만들고 올바르게 활용하자는 것”이라면서 “기술과 윤리 중 어느 하나만 중요한 것이 아니라 함께 발전해야 한다”고 말했다. 이를 위해 기업과 공공기관이...