소형과 대형 AI 서버 협업…스마트폰 AI 빨라진다

KAIST 연구팀, 처리 속도 최대 3.67배 향상 [아이뉴스24 정종오 기자] 한국과학기술원(KAIST) 연구팀은 스마트폰 속 소형 AI가 서버의 대형 AI에게서 얻은 지식을 기기에 쌓아두고 재사용하도록 하는 시스템을 개발했다.높은 정확도를 유지하면서 서버 호출을 평균 55.61% 줄였다. 비슷한 문제를 만날수록 서버에 덜 의존하고 더 빠르게 판단하는 모바일 AI의 가능성을 제시한 것이다.KAIST(총장 배충식) 전산학부 이재길 교수 연구팀이 기기의 소형 AI와 서버의 대형 AI를 효율적으로 연결하는 기기-서버 협업 기술 ‘CURE(Cumulative Knowledge Reuse, 누적 지식 재사용)’를 선보였다.스마트폰 속 소형 AI가 서버의 대형 AI에게서 얻은 지식을 기기에 쌓아두고 재사용하도록 하는 시스템이 나왔다. [사진=KAIST]스마트폰과 같은 기기는 계산 능력과 메모리가 제한돼 가벼운 소형 AI 모델을 주로 사용한다. 소형 모델은 간단한 문제는 빠르게 처리하는데 복잡하거나 낯선 이미지를 구분할 때는 정확도가 떨어질 수 있다.반대로 모든 문제를 고성능 서버의 대형 AI에 맡기면 정확도를 높일 수 있는데 데이터를 보내고 답을 기다리는 시간이 길어진다. 통신량과 서버 연산량도 늘어나 이용자의 대기 시간과 서비스 운영 비용이 커진다.이를 보완하기 위해 기기의 소형 AI가 먼저 판단하고 어려운 문제만 서버로 보내는 협업 방식이 연구돼 왔다. 기존 방식은 서버에서 받은 답을 그때만 사용하기 때문에 비슷한 문제가 다시 들어와도 서버에 같은 도움을 반복해서 요청해야 했다. 학생이 어려운 문제의 답을 듣고도 기록해 두지 않아 같은 유형의 문제를 만날 때마다 다시 물어보는 것과 같다. 연구팀은 서버가 알려준 답을 일회성으로 사용하지 않고 기기가 이후에도 활용할 수 있는 지식으로 축적하는 데 주목했다.CURE는 먼저 기기의 소형 AI가 입력을 스스로 처리할 수 있는지 판단한다. 해결하기 어렵다면 기기에 저장된 서버 지식을 활용하고 저장된 지식으로도 부족할 때만 서버에 도움을 요청한다. ‘혼자 풀기→배운 내용 찾아보기→전문가에게 묻기’의 3단계로 문제를 처리하는 방식이다.다양한 이미지 분류 데이터셋을 이용한 실험에서 CURE는 모든 입력을 대형 서버 모델로 처리하는 방식에 근접한 정확도를 유지했다. 서버의 지식을 축적하지 않는 기존 기기-서버 협업 방식보다 서버 호출 횟수를 평균 55.61% 줄였다.처리 속도는 기존...