Kolibri - 기술 보고서 [PDF]

Kolibri는 영어와 독일어를 지원하는 MoE 모델로, 전체 781억 개 파라미터 중 토큰당 34.6억 개만 활성화하며 가중치를 Apache 2.0으로 공개함 공공행정, 산업, 항공우주처럼 민감한 데이터를 처리하는 조직의 자체 인프라 배포를 목표로 하며, 데이터부터 학습과 평가까지 개발 전 과정을 통제함 총 24조 토큰으로 학습했고 독일어 비중은 20%를 넘으며, 후학습에는 지도 미세조정과 120만 개 이상의 과제를 활용한 강화학습을 결합함 평가 대상 공개 모델 가운데 영어와 독일어 모두에서 품질과 서빙 비용의 파레토 최전선에 위치하며, 최대 100만 토큰 문맥과 요청별 추론 노력 설정을 지원함 하이브리드 어텐션과 희소 MoE로 토큰당 연산량을 줄이고, 독일어에 맞춘 UniBPE 토크나이저로 GPT-5 토크나이저보다 독일어 웹 텍스트에 필요한 토큰 수를 11.2% 줄임 자체 통제 인프라와 규제 환경을 위한 모델 Kolibri는 영어와 독일어를 지원하는 디코더 전용 인과적 Transformer이며, 공개 가중치의 Apache 2.0 라이선스는 도입 조직이 자체 인프라에서 모델을 운영할 수 있게 함 공공행정, 산업, 항공우주 분야에서는 규제 아래 민감한 데이터를 처리하므로, 조직이 통제하는 인프라, 유럽의 가치에 부합하는 학습, 독일어와 영어 지원이 필요함 서빙 비용도 조직이 모델을 배포할 수 있는 규모를 제한함 개발 파이프라인은 처음부터 EU AI Act, 범용 AI 행동강령, GDPR 등 적용 가능한 규제를 고려해 설계함 데이터 파이프라인에서 불법 콘텐츠, 유해 콘텐츠, 불법 복제 콘텐츠를 걸러내고 개인정보를 삭제 처리함 응답을 유럽의 민주적 합의 가치에 맞추고, 주어진 문맥이 답변을 뒷받침하지 못하면 답변을 유보하도록 학습함 독일의 팀이 전 과정을 개발하고, 독일과 핀란드의 인프라에서 학습함 품질, 서빙 효율과 문맥 지원 Kolibri는 781억 개 전체 파라미터 중 토큰당 34.6억 개, 4.4% 를 활성화해 전체 모델 용량에 비해 토큰당 연산량을 작게 유지함 활성 파라미터 수에는 임베딩을 포함하지 않음 평가한 공개 모델 범위에서 기반 모델과 후학습 모델 모두 영어와 독일어의 품질/서빙 비용 파레토 최전선에 위치함 비교 그래프는 언어별 평균 벤치마크 점수와 GPU당 초당 디코딩 텍스트 바이트 수를 사용함 각 모델을 B200 GPU 8개에서 가장 빠른 구성으로 실행했으며, 시퀀스 길이는 기반 모델 4k, 후...