더 적은 것이 더 많음: 작은 네트워크로 구현하는 재귀적 추론

• Tiny Recursion Model (TRM) 은 약 7M 파라미터의 소규모 신경망으로도 ARC-AGI-1에서 45% , ARC-AGI-2에서 8% 의 높은 성능을 달성함
• 거대 언어 모델이 아니어도 재귀적 추론 방식을 적용해 어려운 문제를 해결할 수 있음을 입증함
• 이 모델은 기존 Hierarchical Reasoning Model (HRM) 의 복잡한 구조를 단순화하여 핵심적인 재귀 추론 프로세스만 남김
• TRM은 인간 두뇌나 복잡한 수학적 정리, 계층 구조 없이 작고 효율적인 모델로 답변 품질을 지속적으로 개선함
• 본 논문은 모델의 크기보다 새로운 접근 방식이 어려운 문제 해결에 중요함을 강조함

개요

• 이 논문에서는 Tiny Recursion Model (TRM) 이라는 새로운 재귀적 추론 모델을 제안함
• TRM은 매우 작은 7M 파라미터로 구성된 신경망임에도 ARC-AGI-1에서 45% , ARC-AGI-2에서 8% 라는 의미 있는 정확도 기록을 세움
• 본 모델은 대기업이 수백만 달러를 들여 학습시킨 대형 모델이 아니어도, 효율적 재귀 추론을 통해 복잡한 문제를 충분히 풀 수 있음을 실험적으로 보여줌
• 현재 업계에서는 LLM의 활용에만 집중하는 과도현상이 있지만, TRM은 새로운 추론 및 학습 방향성이 중요함을 시사함

기존 연구와의 차별점

• 기존 Hierarchical Reasoning Model (HRM) 에서는 생물학적 논리나 복잡한 계층 구조, 수학적 정리(고정점 정리 등)에 대한 의존도가 높았음
• TRM은 이러한 복잡성을 제거하고, 가장 단순화된 재귀 추론 핵심 메커니즘만 남김으로써 설계와 구현 모두 직관적으로 단순화시킴
• 인간 두뇌의 구조나 이론적 배경 없이도 재귀적 자기 반복 과정을 통해 답변 정확도를 지속적으로 향상시키는 것이 핵심임

TRM 동작 방식

• 입력 질문 x, 초기 답변 y, 은닉 상태 z를 임베딩하여 시작함
• 최대 K번의 개선 스텝 동안, 다음 두 단계가 반복적으로 실행됨:
  • i) 현재 질문 x, 답변 y, 은닉 z 상태로부터 은닉 z값을 n회 반복적으로 업데이트함(재귀적 reasoning)
  • ii) 현재 답변 y와 새 은닉 z로부터 답변 y를 다시 업데이트하여 더 나은 답변을 도출함
• 이러한 재귀적 반복 과정은 모델 파라미터 증가 없이 답변 품질을 지속적으로 개선하며, 오버피팅 위험도 줄임

결론

• TRM 연구는 모델 크기가 성공에 반드시 필수적인 요소가 아님을 입증함
• 재귀적 추론 원리만으로도 소규모 신경망이 대형 모델에 근접하는 성과를 달성할 수 있음을 실험으로 보여줌
• 미래의 인공지능 연구에 있어 효율적이고 창의적인 새 방향성 개발의 중요성을 강조함
• 보다 자세한 내용은 논문에서 확인 가능함