2025년 말 인공지능에 대한 성찰

1 month ago 10

LLM이 단순한 확률적 앵무새에 불과하다는 주장은 2025년 들어 거의 사라졌으며, 프롬프트의 의미와 응답 방향에 대한 내부 표상이 존재함을 대부분 인정하게 됨
Chain of Thought(CoT) 는 모델 표상 내 샘플링과 강화학습을 통한 토큰 순차 학습의 결합으로, LLM 출력 품질을 향상시키는 핵심 기법이 됨
검증 가능한 보상을 활용한 강화학습이 토큰 수 제한을 넘어선 확장 가능성을 열었으며, 이 분야가 AI의 다음 핵심 발전 방향이 될것으로 예상
LLM 기반 프로그래밍 지원에 대한 저항이 크게 줄어들었고, 웹 인터페이스 협업 방식과 독립 코딩 에이전트 방식으로 활용 형태가 나뉨
Transformer 대안 연구와 AGI 가능성이 병행되며, 다양한 아키텍처가 독립적으로 일반지능에 도달할 수 있다는 관점이 부상함

오랫동안 LLM을 의미를 이해하지 못하는 2가지 특징을 가진 확률적 기계(stochastic parrots) 라던 주장이 있었음
- 1. 프롬프트의 의미에 대한 정보를 전혀 가지고 있지 않음
- 2. 자신이 무엇을 말할지에 대한 정보도 전혀 가지고 있지 않음
기능적 성과와 과학적 단서가 지속적으로 누적되며 이러한 관점이 점차 설득력을 잃고, 2025년에 이르러 해당 주장은 거의 사라진 상태로 전환됨

Chain of Thought(CoT)는 현재 LLM 성능을 개선하는 핵심 기법으로 자리 잡음
CoT의 효과는 관련 정보와 개념을 컨텍스트에 올려 모델 내부 표현 공간에서의 샘플링, 즉 내부 탐색을 가능하게 함
강화학습과 결합될 경우, 토큰을 하나씩 배치하며 모델 상태를 변화시켜 유용한 답변으로 수렴하는 과정을 학습하게 됨

스케일링의 한계가 토큰 수에 의해 결정된다는 기존 관점은 더 이상 유효하지 않음
검증 가능한 보상 기반 강화학습(RLVR) 도입으로 스케일링의 범위가 확장됨
프로그램 속도 개선처럼 명확한 보상 신호가 존재하는 작업에서는 이론적으로 장기간 지속적인 개선 가능성이 있음
LLM에 적용되는 강화학습의 개선이 차세대 AI의 핵심 기술이 될 것

AI 보조 프로그래밍에 대한 개발자들의 저항은 눈에 띄게 감소함
LLM이 오류를 내더라도 유용한 코드와 힌트를 제공하는 능력이 크게 향상됨
투자 대비 효용이 명확해지며 회의적이었던 개발자들까지 활용을 시작함
LLM을 웹 인터페이스 기반의 동료처럼 사용하는 방식과 독립적인 코딩 에이전트로 사용하는 방식이 공존함

Transformer 이후에도 또 다른 돌파구가 가능하다는 인식이 일부 저명한 AI 과학자들 사이에서 확산됨
- 트랜스포머 대안, 명시적 기호 표현(symbolic representation), 세계 모델(world model)을 탐구하는 팀과 회사들이 등장
LLM이 이산적 추론 단계를 근사할 수 있는 공간에서 훈련된 미분 가능한 기계라고 생각함
근본적으로 새로운 패러다임 없이도 LLM을 통해 AGI에 도달할 가능성이 있다고 생각
다양한 아키텍처를 통해 독립적으로 인공 일반 지능(AGI)에 도달할 수 있을 가능성이 있음

Chain of Thought가 LLM의 본질을 바꿨다는 주장도 제기됨
과거 LLM을 제한적이라 평가하던 이들이 CoT 이후 입장을 바꾸는 현상이 보임
그들은 CoT 때문에 LLM이 완전히 달라졌다고 말하지만, 이는 거짓임
여전히 동일한 아키텍처와 다음 토큰 목표를 가지고 있으며, CoT는 토큰이 하나씩 생성되는 방식 그대로임

과거 LLM의 한계를 검증하기 위한 ARC 테스트가 이제는 LLM 성능을 입증하는 지표로 전환됨
ARC 테스트는 초기와 달리 더 이상 극복 불가능한 과제로 보이지 않음
특정 작업에 최적화된 소형 모델들이 ARC-AGI-1에서 의미 있는 성과를 냄
많은 사람들이 결과를 내지 못할거라 생각했던 아키텍처로 대형 LLM과 광범위한 CoT를 활용하여 ARC-AGI-2에서 인상적인 결과를 달성함

향후 20년간 AI가 직면한 가장 근본적인 도전 과제는 인류 멸종을 피하는 문제가 될 것

Read Entire Article