AI 스스로 숨은 약점 찾는다 外 [과학게시판]

정종오 기자 입력 2026.07.30 16:48 미래 유망 융합원천기술 연구 본격 착수 [아이뉴스24 정종오 기자] 한국과학기술원(KAIST, 총장 배충식) 전기및전자공학부 김준모 교수 연구팀이 대규모 언어모델(Large Language Model, LLM)의 안전성을 검증하는 레드팀(Red Teaming, AI를 의도적으로 공격해 취약점을 찾는 안전성 검증 과정) 기술의 한계를 극복한 새로운 프레임워크 ‘스테이블-지플로우넷(Stable-GFlowNet)’을 개발했다.AI 안전성 검증 기술 ‘스테이블-지플로우넷’ 개발KAIST 연구팀이 AI를 의도적으로 공격해 취약점을 찾는 안전성 검증 과정 기술의 한계를 극복한 새로운 프레임워크를 내놓았다. [사진=KAIST]생성형 AI의 레드팀(Red Teaming)은 프로그램을 배포하기 전에 AI가 유해하거나 위험한 답변을 하도록 유도하는 공격 프롬프트(Attack Prompt, AI의 취약점을 시험하기 위한 질문)를 만들어 숨은 약점을 찾아내는 과정이다. 연구팀이 개발한 스테이블-지플로우넷(Stable-GFlowNet)은 기존 기술이 찾아낸 17개의 고유 공격 유형보다 약 7배 많은 134개의 공격 유형을 발굴하면서도 92%의 높은 공격 성공률을 유지했다.김준모 교수는 “이번 기술은 적은 데이터와 잡음이 많은 현실적 환경에서도 AI의 다양한 취약점을 안정적으로 찾아낼 수 있다는 점에서 의미가 크다”며 “생성형 AI를 실제 서비스에 적용하기 전에 더 폭넓은 위험 요소를 찾아내고 방어할 수 있어, 더욱 안전하고 신뢰할 수 있는 AI 개발의 핵심 기반 기술이 될 것으로 기대한다”고 말했다.미래유망 융합원천기술 연구 본격 착수과학기술정보통신부(부총리 겸 과학기술정보통신부 장관 배경훈)는 2026년 ‘미래유망융합기술파이오니어’ 사업의 24개 신규 과제를 수행할 기관을 선정하고, 연구에 본격 착수한다.미래유망융합기술파이오니어 사업은 다양한 기술·분야·주체 간 시너지를 통해 미래 사회 패러다임을 바꿀 수 있는 핵심 원천기술 확보를 위한 융합연구를 지원하는 사업이다. 혁신‧도전적 연구 시도와 초기 성과 검증을 위해 경쟁형 방식으로 지원한다.극지연구소 강성호 박사, 노르웨이 왕실 공로 훈장극지연구소 책임연구원이자 전 극지연구소장인 강성호 박사가 노르웨이 국왕 하랄 5세(Harald V)로부터 오피서(Officer) 등급 노르웨이 왕실 공로 훈장(Royal Norwegian Order o...