약 2만 달러로 학습한 준수한 텍스트 기반 이미지 생성 모델, Apache 2.0 가중치 공개

Linum이 차기 영상 모델을 위한 개념 검증으로 Pyramid-JiT(P-JiT) 이미지 생성 모델을 실험적으로 공개함. 사전학습과 후속학습에 든 GPU 비용은 총 21,038달러임 별도 VAE 없이 픽셀 공간에서 압축과 생성을 함께 학습하며, 32×32 토큰 축소로 기존 Linum v2 대비 어텐션 문맥 길이를 4분의 1로 줄임 DiT 중간 블록에서 저해상도 이미지를 예측해 초기 블록의 기울기 신호를 강화함. 초기 실험에서는 Linum v2보다 11배 적은 샘플로 수렴했으며, 이번에는 총 약 6억 6,000만 샘플까지 학습을 확대함 2B 규모 DiT와 4B 텍스트 인코더를 사용하고, 512²에서 사전학습한 뒤 1024²로 해상도를 높임. 후속학습에는 FDFO 변형과 이미지 평가 모델, 사람의 평가를 활용함 텍스트가 많은 이미지를 학습 데이터에서 제외해 글자나 포스터를 생성하지 못함. 전신, 다수 객체, 여러 사람의 상호작용, 세계 지식도 취약한 영역임 영상 모델의 비용을 낮추기 위한 P-JiT 검증 Linum의 목표는 애니메이션 제작 접근성을 높이는 창작 도구이며, Linum v3 개발에서는 추론 비용을 크게 낮추는 것을 우선함 현재 생성형 영상 모델은 느리고 비싸며, 충분한 제어 수단도 부족함 제작과 수정을 반복하는 창작 과정에서 비용과 제어의 제약은 스토리텔링 활용을 어렵게 함 이번 21,000달러 규모 학습은 차기 영상 모델로 가는 과정의 개념 검증임. 모델 크기에 비해 결과가 좋아 실험적 공개를 결정함 생성형 영상 모델은 보통 이미지 모델에서 출발하며, 사람과 장소, 사물 등을 학습한 뒤 동작과 움직임을 학습함 초기 5,000만~1억 샘플 실험에서 성과를 보인 아키텍처가 약 6억 샘플 규모에서도 잘 작동하는지 검증하고자 함 VAE를 없애고 어텐션 문맥을 줄이는 이유 영상 학습과 추론의 병목은 O(n²) 어텐션이며, 더 강한 압축으로 문맥 길이를 줄이면 두 비용을 모두 낮출 수 있음 별도 VAE에 압축을 맡기는 방식이 반드시 최적은 아님 VAE의 압축률에는 경험적 한계가 있으며, 더 높은 압축에는 Minimax H3의 2B 디코더 같은 큰 구조 변경이 필요함 VAE의 재구성 성능이 좋아져도 후단 확산 모델의 생성 품질은 나빠질 수 있음 P-JiT는 더 강력한 생성 모델 계열인 확산 모델이 압축과 생성을 동시에 학습하도록 함 다른 모델의 잠재 공간을 사용하는 대신 자체 용도에 맞는 잠재 공간을 학습하면 ...