텍스트 분류를 위한 언어 모델: Bag-of-Words에서 Jev까지

Jev는 작업마다 별도 분류기를 미세 조정하지 않고도 다양한 텍스트 분류와 의사결정을 수행하는 범용 분류 모델로, 대형 생성형 LLM보다 빠르고 저렴한 처리를 지향함 텍스트 분류는 Bag-of-Words와 로지스틱 회귀에서 RNN, CNN, 사전 학습된 Transformer로 발전했지만, 좁고 명확한 문제에서는 여전히 전용 분류기가 유효함 IMDb 테스트 리뷰 25,000개에서 Jev의 Choice API는 정확도 96.47%, 총비용 0.6492달러를 기록함. 다만 해당 테스트 데이터가 학습에 포함됐는지는 공개되지 않음 Jev의 차별점은 API 형태 자체보다 다양한 작업에 대한 일반화 성능에 있음. 유사 API를 기존 모델에 붙이기는 쉽지만, 영화 리뷰 분류부터 Tetris까지 잘 처리하도록 만드는 일은 단순하지 않음 확률 보정은 분류 결과를 실제 의사결정에 활용할 때 중요한 요소임. Jev의 RLCD 학습 방식은 비공개이며, 유사한 목표를 가진 공개 기법 RLCR과의 관계도 확인되지 않음 Jev가 자리 잡는 분류 모델의 중간 영역 Jev는 TypeSafe AI가 공개한 독점 모델로, 별도 미세 조정 없이 다양한 분류 작업을 처리함 최신 GPT와 공개 가중치 LLM도 같은 종류의 작업을 수행하며 더 일반적인 의사결정까지 가능하지만, Jev는 분류 작업의 속도와 비용에서 강점이 있음 좁고 명확하게 정의된 문제에서는 전용 분류기보다 정확하거나 빠르거나 저렴하지 않을 수 있지만, 작업별 전용 모델보다 범용성이 높음 TypeSafe AI는 의사결정 성능이 GPT-5.6 Luna와 대등하면서 훨씬 빠르고 저렴하다고 주장함 지원 티켓과 이메일 분류뿐 아니라 Choice API를 이용한 실시간 Tetris도 시연됨 작업마다 학습 데이터를 모으고 분류기를 미세 조정하지 않아도 된다는 점은, 다양한 텍스트를 생성하는 범용 채팅 모델이었던 ChatGPT의 등장과 비슷한 매력을 분류 영역에 제공함 Bag-of-Words: 저렴하고 구현하기 쉬운 기준선 Bag-of-Words는 길이가 다른 텍스트를 고정 크기 벡터로 바꿔 나이브 베이즈, 로지스틱 회귀, SVM, 랜덤 포레스트, XGBoost 같은 전통적인 분류기에 입력하는 방식임 뉴스 기사 분류와 이메일 스팸 필터링 등에 쓰이며, Gmail의 초기 스팸 필터도 이 표현과 나이브 베이즈를 사용했다고 알려져 있음 2014년 나이브 베이즈 튜토리얼에서 이 접근법을 자세히 확인할 수 있...