[베터 소프트웨어 테스팅 콘퍼런스 2025]티벨, LLM 품질 평가 시스템 발표

티벨은 21일 서울 코엑스에서 열린 '제11회 국제 품질 테스팅 콘퍼런스(BESTCON 2025)'에서 거대언어모델(LLM) 품질 평가 시스템 'T-렌즈'를 발표했다.

'T-렌즈'는 LLM 품질·신뢰성 평가 자동화 시스템이다. LLM의 활용이 늘고 있지만, 모델의 신뢰성 확보와 서비스 품질 보장이 과제로 남아있는 문제를 해결한다.

원격으로 신속한 평가가 가능한 게 특징이다. 아마존웹서비스(AWS)의 애플리케이션(앱) 테스트 서비스 '디바이스 팜' 환경에 적용, 언제 어디서나 검증할 수 있는 '디바이스 프리' 테스팅 환경을 구축했다.

이혜진 티벨 이사는 이에 대해 “AWS 디바이스 팜과 연동해 다양한 디바이스 환경에서 엔드투엔드 수준의 품질 검증을 수행했다”며 “반복 테스트의 효율화, 버전 간 성능 비교, 운영 안정성 확보, 모델 개선 효과의 신속한 피드백 등 실질적인 성과를 도출하고 있다”고 설명했다.

이 이사는 이어 “특히 T-렌즈는 정성적 지표와 기능적 지표를 통합 평가하는 등 LLM 서비스의 품질을 빠르고 객관적으로 평가할 수 있는 게 특징”이라며 “다양한 산업 분야에 안정적이고 신뢰성 높은 품질 평가 서비스를 제공하고 있다”고 설명했다.

인공지능(AI) 기반 검증 자동화 솔루션도 소개됐다.

티벨은 음성·텍스트 변환(STT), 텍스트·음성 변환(TTS), 자연어 처리(NLP) 등 AI 기술을 적용한 음성 사용자 경험(VUX) 기반 음성 테스트를 구현한다. 발화된 음성과 AI의 응답을 비교·분석해 유사도를 측정하고 결과를 프로젝트 관리 협업툴 '지라'에 자동으로 업데이트한다.

이 이사는 “'SKT 챗봇 LLM 평가 시스템 구축 프로젝트'를 비롯해 고객사에 전문적인 테스트 서비스를 제공하면서 과학기술정보통신부 장관상까지 수상했다”며 “AI 서비스의 신뢰성과 품질을 보장하는 검증 체계를 지속적으로 고도화해, 국내를 넘어 글로벌 시장에서도 신뢰받는 품질 평가 전문기업으로 도약하겠다”고 강조했다.

현대인 기자 modernman@etnews.com