어니컴, 'ai[Q].EV'로 AI 챗봇 품질검증 본격화…기업 챗봇·CS AI 전환 지원

어니컴 인공지능 전환(AX) 품질 전문기업 어니컴(대표 이석호)은 대규모언어모델(LLM)·대화형 챗봇 품질평가 플랫폼 'ai[Q].EV(아이큐 이브이)'를 기반으로 기업의 챗봇 및 고객서비스(CS) AI 전환 지원에 나선다고 21일 밝혔다. 어니컴은 'ai[Q].EV'가 현재 다양한 지능형 챗봇 개발 프로젝트에서 공식 검증 도구로 채택되어 활용되고 있으며, 커머스와 CS 분야에서 성공적인 적용 레퍼런스를 확보했다고 전했다. 이 플랫폼은 단발성 문답을 넘어, 여러 차례 질의응답이 오가는 멀티턴(Multi-turn) 대화에 최적화된 품질평가 기능을 제공한다. LLM이 평가자 역할을 수행하는 판단형 대규모언어모델(LaaJ)' 방식을 적용하여, 각 응답이 질문의 목적에 부합하는지 자동으로 판단한다. 질문과 답변을 개별적으로 확인하는 것에 그치지 않고, 대화의 전체 맥락을 고려하여 전체 대화에 포함된 모든 응답의 품질을 측정한다. 어니컴은 상품 문의에서 배송·교환 상담으로 대화가 이어질 때, 챗봇이 앞서 제시된 조건을 기억하고 질문의 목적과 기업 정책에 맞게 답하는지를 확인하는 방식이라고 했다. 단순히 자연스러운 답변을 생성하는지를 넘어, 실제 고객 응대에 적합한 답변인지를 평가하는 데 초점을 맞춘다는 것이다. 'ai[Q].EV' 플랫폼은 질문 생성, 대화 수행, 응답 평가 과정을 연결하고, △정확성 △정책 준수 △맥락 유지 등 7가지 핵심 기준에 따른 평가 점수와 명확한 판정 근거를 제공한다. 어니컴의 품질 전문가는 고객사의 업무 특성과 서비스 목적에 맞춰 평가 기준을 구성하고, 최종 검토를 거쳐 기업이 개선해야 할 응답과 원인을 파악해 실제 개발에 반영할 수 있도록 돕는다. 어니컴은 이러한 평가 체계를 통해 실무 담당자의 수작업 검토 부담과 반복적인 대화 수행 공수를 줄이고, 기업들이 챗봇 개발과 AI 전환 과정에서 겪는 응답 품질 검증의 어려움을 체계적으로 해결하도록 지원할 계획이다. 회사측은 아울러 'ai[Q].EV'를 독립적인 LLM 품질평가 서비스로 사업화하고, 조만간 전용 서비스 페이지를 통해 정식으로 선보일 방침이라고 했다. 어니컴 관계자는 “기업에서 필요한 것은 AI가 그럴듯한 답변을 만들어 내는 것이 아니라, 고객의 실제 질문과 업무 목적에 정확히 부합하는 답변을 제공하는 것”이라며 “그동안 커머스와 CS 분야에서 축적한 적용 경험과 멀티턴 대화 평가 역량을 바탕으로, 기업이 챗봇과 고객서비스를 AI화...