카카오, 'AI의 눈' 비전 인코더 2종 오픈소스로 공개

한국어 문서 이해와 이미지 기반 질의응답 연구 지원⋯상업적 활용 가능 "9개 평가 영역서 비교 모델 대비 최고 성능"⋯다른 구성 요소도 공개해 AI 생태계 기여 [아이뉴스24 정유림 기자] 카카오가 자체 개발한 비전 인코더 2종을 인공지능(AI) 개발 플랫폼 허깅페이스에 오픈소스로 공개했다고 21일 밝혔다.[사진=카카오]이번에 공개한 비전 인코더는 4억2600만 파라미터(매개변수) 규모의 '미디엄'과 9800만 파라미터 규모의 '타이니'다. 비전 인코더는 AI가 이미지를 이해하도록 돕는 '눈' 역할을 하는 기술이다. 이미지 속 사물이나 글자, 위치, 형태 등 시각적 특징을 추출해 언어모델에 전달하면 언어모델은 이를 이용자의 질문과 함께 해석해 답변을 생성한다. 예를 들어 메뉴판의 음식과 가격을 읽거나 문서의 내용과 배치를 파악하고 사진 속 상황을 설명하는 데 쓰인다.카카오는 일반 시각 질의응답, 영어 문자 인식·문서 이해, 한국어 문자 인식·문서 이해, 이미지 내 위치 파악·세밀한 인식 등을 포함하는 9개 영역, 총 42개 벤치마크에서 성능을 평가한 결과, 두 모델은 구글의 시그립(SigLIP 2), 메타의 퍼셉션 인코더(Perception Encoder) 등 세계 주요 비전 인코더를 상회하는 성능을 기록했다고 강조했다.카카오는 특히 타이니 모델이 경량 모델임에도 4억개가 넘는 글로벌 모델과 비교해서도 뛰어난 성능을 보였다고 덧붙였다. 이는 자체 학습 기술로 작은 글자와 복잡한 문서 구조의 세밀한 시각 정보를 보존해 비전 언어모델의 핵심 역량인 문자 인식(OCR)과 문서 이해 역량을 강화한 결과라는 설명이다.카카오는 자체 개발한 '카나나-2' 언어모델을 활용해 비전 인코더의 학습 효율을 기존 대비 약 4배 높이고 세밀한 시각 정보를 추출하는 능력을 확보했다. 언어모델의 성능 향상을 비전 인코더의 학습에 활용해 자체 기술 간 성능을 높이는 구조를 마련했다. 고해상도 이미지 처리에 최적화된 설계로 글로벌 주요 비전 인코더 대비 처리 지연 시간을 60% 이상 줄였고 지식 증류·경량화 기술을 적용해 온디바이스(기기 자체에서 AI 연산 수행) 활용을 고려한 모델까지 개발했다.카카오는 두 모델을 연구·개발 뿐 아니라 상업적으로도 활용할 수 있도록 공개한다. 국내외 연구자와 기업의 기술 활용·서비스 개발 접근성을 높이고 멀티모달 AI 연구의 발전을 뒷받침할 계획이다. 그 연장선에서 다른 구성 요소도 순차적으로 공개할 예정이...