사전 훈련 없이 ARC-AGI

ARC-AGI란 무엇인가?

• ARC-AGI는 2019년에 도입된 인공지능 벤치마크로, 최소한의 예시로부터 추상적인 규칙을 추론하고 일반화하는 시스템의 능력을 테스트하기 위해 설계됨.
• 데이터셋은 IQ 테스트와 유사한 퍼즐로 구성되며, 각 퍼즐은 기본 규칙을 보여주는 여러 예제 이미지와 그 규칙을 적용해야 하는 테스트 이미지를 제공함.
• ARC-AGI를 해결하는 것은 인공지능의 발전을 방해하는 현재의 도전 과제를 조명하는 것이 목적임.

우리의 솔루션 방법

• 손실 없는 정보 압축이 ARC-AGI 퍼즐을 해결하는 효과적인 프레임워크가 될 수 있다고 제안함.
• 퍼즐의 더 효율적인 압축이 더 정확한 솔루션과 상관관계가 있음.
• CompressARC는 신경망을 디코더로 사용하며, 인코딩 알고리즘은 다른 네트워크가 아닌, 디코더의 매개변수와 입력 분포를 최적화하여 가장 압축된 퍼즐 표현을 얻음.

네트워크 학습 관찰: 상자 색칠하기

• 인간의 솔루션: 입력이 상자로 나뉘고 출력에서도 상자가 유지되며 색칠됨을 인식함.
• CompressARC 솔루션: 학습 단계별로 네트워크가 퍼즐의 규칙을 점차적으로 이해하고 적용함.

우리의 솔루션 방법 도출 방법

• 손실 없는 정보 압축은 가능한 한 적은 비트로 정보를 표현하면서도 그 정보를 비트 표현으로부터 재구성할 수 있도록 하는 것임.
• ARC-AGI 데이터셋을 가장 잘 압축하는 시스템이 어떤 답을 압축 해제할지를 알아내고자 함.

신경망의 도움

• 프로그램 공간을 검색하는 대신, 프로그램을 선택하여 입력 공간의 다양성에 위임함.
• 신경망의 전방 패스를 실행하는 프로그램을 작성하고, 입력 공간을 통해 검색함.

아키텍처

• ARC-AGI 퍼즐을 디코딩하기 위한 신경망 아키텍처를 설계함.
• 가장 중요한 특징은 대칭 규칙을 따르는 등가성임.

결과

• CompressARC는 훈련 세트에서 34.75%, 평가 세트에서 20%의 성과를 기록함.

해결할 수 있는 퍼즐과 해결할 수 없는 퍼즐

• CompressARC는 특정 능력을 사용하여 가능한 한 많은 것을 알아내려고 시도함.
• 예를 들어, 패턴을 짧은 거리로 확장할 수 있지만 긴 거리로는 확장할 수 없음.

상자 색칠하기: 사례 연구

• 훈련 중 재구성 오류가 매우 빠르게 감소하고 평균적으로 낮게 유지됨.
• CompressARC가 퍼즐을 해결하는 방법을 이해하기 위해 z에 저장된 표현을 분석함.

우리의 작업을 개선하는 방법

• CompressARC의 릴리스 당시 시도하거나 시도하지 않은 여러 아이디어가 있었음.
• 퍼즐 간의 가중치 공유를 통한 공동 압축 등 몇 가지 아이디어는 여전히 유효하다고 생각함.