[AI 세이프가드] ③ AI도 '스트레스 테스트' 한다……한국의 'AI 안전 시험장' 가보니

인공지능(AI) 경쟁의 기준이 모델의 성능만으로 결정되던 것에서 실제 서비스의 신뢰성과 안전성까지 검증하는 단계로 이동하고 있다. 한국에서도 'AI를 얼마나 잘 만드느냐'를 넘어 '얼마나 믿고 쓸 수 있게 만드느냐'를 둘러싼 경쟁이 시작됐다. 전자신문은 민간 AI 신뢰성 평가기업 셀렉트스타와 국가 차원의 AI 안전평가 체계를 구축하는 인공지능안전연구소를 찾았다. 기업이 실제로 사용하는 AI 서비스를 대상으로 맞춤형 평가와 레드티밍을 통해 취약점을 찾아내고, 국내외 최신 AI 모델의 사이버보안·국가안보·에이전트 자율행동 등 잠재적 위험 능력을 시험하는 현장에서 한국의 AI 안전·신뢰 생태계를 들여다봤다. ◇ 글 싣는 순서 ① 틀린 답 넘어 제멋대로 행동하는 AI로…위험의 공식이 바뀌었다 ② AI도 출시 전 '시험대' 오른다…싱가포르서 본 안전 산업의 최전선 ③ 한국의 AI 안전망은 어디까지 왔나 ④ “인류는 AI를 통제할 수 있는가”…글로벌 석학에게 묻다 ⑤ 안전이 곧 AI 경쟁력…대한민국 '신뢰 생태계' 어떻게 만들까 경기 성남시 인공지능안전연구소에서 직원들이 모델 안전성 평가 플랫폼을 시연하고 있다. 김민수기자 mskim@etnews.com 경기도 판교 인공지능안전연구소 AI안전평가실. 모니터에서 AI 안전성 평가 프레임워크를 띄우자 여러 AI 모델의 평가 결과가 한눈에 펼쳐졌다. 모델 하나를 선택하자 사이버보안과 국가안보, AI 에이전트 자율성부터 유해 콘텐츠, 차별·편향, 개인정보 유출까지 위험 유형별 결과가 그래프로 나타났다. 평가는 AI에게 단순히 위험한 질문을 던지고 답변을 보는 데 그치지 않는다. 코드에 숨어 있는 취약점을 얼마나 찾아낼 수 있는지 측정하고, 여러 차례 질문을 이어가며 안전장치가 제대로 작동하는지 살핀다. AI 에이전트 평가에서는 컴퓨터와 외부 도구를 활용해 과업을 수행하는 과정까지 평가 대상이 된다. 일종의 'AI 스트레스 테스트'다. 인공지능안전연구소는 새로운 AI가 등장했을 때 그 위험을 독립적으로 시험하고 검증할 수 있는 국가 차원의 평가 역량을 구축하고 있다. 국내에서 접근 가능한 주요 국내외 AI 모델을 대상으로 한다. 발생할 수 있는 다양한 위험 요소를 평가하고 이를 체계적으로 검증할 국가 차원의 평가 기반을 만드는 것이 연구소의 역할이다. ◇똑똑한 AI, 어디서 위험해지나…AI 능력 '양날의 검' 시험한다 예를 들어 사이버보안 평가라면 AI에 소프트웨어의 취약점을 찾아...