[AI 세이프가드] ② AI도 출시 전 '안전검사'…AIDX가 키우는 싱가포르 제3자 검증 생태계

이판 지아 AIDX 창업자 겸 최고경영자(오른쪽 위)를 비롯한 임직원들이 AI 안전성 시험·검증 플랫폼과 평가 방법을 설명하고 있다. “인공지능(AI) 모델이 안전하다고 해서 그 모델을 이용해 만든 서비스까지 안전한 것은 아닙니다.” 싱가포르 중심업무지구(CBD)에 위치한 AI 시험·검증 기업 AIDX 사무실. 이판 지아 AIDX 창업자 겸 최고경영자(CEO)가 자체 AI 평가 플랫폼에서 모델과 버전을 선택하자 위협적 콘텐츠, 문화적 편향, 개인정보 등 위험 영역별 시험 항목이 나타났다. 지아 CEO는 “시연용으로 약 1000개, 전체 데이터베이스에는 약 1만개의 테스트 케이스가 구축돼 있다”고 설명했다. 시험이 끝나면 AI가 어떤 위험에 취약한지가 성적표처럼 나타난다. 각 시험 결과를 1~5점으로 평가해 위험한 콘텐츠를 생성하면 낮은 점수를, 위험한 요구를 적절하게 거부하고 안전한 대안을 제시하면 높은 점수를 준다. 낮은 점수를 받은 문항을 클릭하면 왜 문제가 됐는지와 어떤 안전장치를 보완해야 하는지도 확인할 수 있다. 지아 CEO는 “개발자는 이 결과를 바탕으로 문제가 있는 부분을 조정해 모델을 더 안전하게 만들 수 있다”고 말했다. AIDX는 동일한 방식으로 서로 다른 모델이나 같은 모델의 버전별 안전성을 비교하는 리더보드도 운영한다. 이판 지아 AIDX 창업자 겸 최고경영자(CEO) AIDX는 싱가포르에 기반을 둔 AI 위험 평가·관리 기업이다. 회사 이름의 DX도 진단(Diagnosis)에서 따왔다. AIDX가 하는 일은 AI를 실제 사용 환경에 투입하기 전 일종의 '안전검사'를 하는 것이다. 회사는 실제 산업 현장에서 사용하는 AI 애플리케이션을 대상으로 안전성·견고성·공정성·환각·개인정보·보안 등을 자동으로 시험한다. 지아 CEO는 “많은 사람이 파운데이션 모델이 안전하면 이를 활용한 서비스도 안전할 것이라고 생각하지만 안전한 모델이 곧 안전한 애플리케이션을 의미하지는 않는다”며 “산업과 사용 사례마다 안전의 정의가 달라진다”고 말했다. 예컨대 금융과 의료 AI가 다뤄야 할 위험은 서로 다르다. 같은 서비스에서도 의사가 사용하는 경우와 환자가 직접 사용하는 경우 필요한 안전 기준이 달라질 수 있다. 특정 주제에 답하지 않는 것이 일반적인 AI에서는 안전한 행동일 수 있지만, 해당 주제를 반드시 다뤄야 하는 전문 서비스라면 지나친 거부가 오히려 서비스의 기능을 훼손한다. 안전 점수가 높다고 무조건 좋...