셀렉트스타, 디시전 AI '다비(DAVI)' 공개

AI 판단력 평가서 '제브' 앞서⋯한국어 피드백 평가 정확도 72.5% [아이뉴스24 최효경 기자] 셀렉트스타(대표 김세엽)는 인공지능(AI)의 의사결정 속도와 정확성을 지원하는 판단 특화 AI 모델 '다비(DAVI)'를 공개했다고 26일 밝혔다.셀렉트스타 DAVI 성능 비교. [사진=셀렉트스타]셀렉트스타가 개발한 자체 판단 AI 모델 '다비'는 질문의 난이도를 판단해 적절한 AI 모델을 선택하거나, AI 답변의 적절성을 평가하고 에이전트의 작업 성공 가능성을 예측하는 등 다양한 의사결정 작업에 활용할 수 있다.셀렉트스타는 다비의 성능을 검증하기 위해 JevBench(AI 모델의 판단 능력을 비교하는 평가 도구), Laya Bench(다양한 언어와 업무 상황에서 AI의 판단 정확도를 측정하는 평가 도구), Ko-Feedback Bench(한국어 피드백 평가) 등 5개 영역에서 타입세이프AI(TypeSafe AI)의 '제브'와 비교 실험을 진행했다.다비는 'JevBench'의 231개 평가 문항에서 89.2%의 정확도를 기록해 제브(86.6%)보다 2.6%포인트 높은 성능을 보였다. 복잡한 조건과 판단이 요구되는 고난도 문제에서는 77.5%를 기록해 제브(73.0%)를 4.5%포인트 앞섰다. 한국어 피드백 평가에서는 다비가 72.5%의 정확도를 기록해 제브(66.8%)보다 5.7%포인트 높았다.셀렉트스타는 오는 11월 중 다비를 '다투모 이밸'에 적용해 AI 품질 평가 기능을 확장하고, 기업이 AI의 판단 결과를 검증하고 효율적으로 운영할 수 있도록 지원할 예정이다./최효경 기자([email protected]) 포토뉴스