노타, 낮은 사양 디바이스도 구동 가능한 LLM 최적화 지원

인공지능(AI) 최적화·경량화 기술기업 노타가 낮은 사양 디바이스에서 거대언어모델(LLM)을 구현할 수 있는 LLM 최적화 서비스를 출시했다.

디바이스 사양에 관계없이 LLM과 비전언어모델(VLM)을 최적화해 모델 성능은 유지하면서 빠른 추론 속도, 클라우드 또는 온디바이스 환경에 관계없이 개발을 지원한다.

LLM 최적화 서비스는 다양한 칩셋에서 호환 가능, 복잡한 파라미터를 가진 LLM의 높은 최적화 난이도 극복, LLM 경량화로 메모리·연산 효율 향상, LLM 사용에 따른 디바이스 전력 비용 절약, LLM 사용에 따른 클라우드 운영비용 절감 등 효과를 제공한다.

채명수 노타 대표는 “LLM 최적화 서비스는 다양한 AI 모델을 실제 하드웨어에 최적화해온 노타 경험을 기반으로 개발했다”며 “별도 하드웨어 교체 없이 최신 언어모델을 안정적으로 적용해 비용 부담을 줄이고 한층 향상된 사용자 경험을 제공할 수 있다는 점에서 차별화된 의미가 있다”고 말했다.

박종진 기자 truth@etnews.com