[이경전의 AI와 비즈니스모델] GPT-5 시대, 가르치지 말고 맥락을 설명하라

지능지수(IQ) 148의 박사학위자 수준 범용인공지능(AGI)으로 평가되는 GPT-5가 나왔다. 수백 개 박사학위 소지자 수준의 문제 해결력을 범용적으로 쓸 수 있는 시대다. ‘수재 AI’가 나왔으니 AI 응용 시스템과 서비스를 개발하는 방법론도 바뀔 때가 됐다. 예전에는 이미지 인식 AI를 개발하려면 라벨링된 데이터를 카테고리당 1000장 정도 구해 학습시켜야 했다. 그러나 이제는 설명과 이미지가 담긴 긴 문서를 맥락(context)으로 투입하면 인식 문제를 푸는 데 곧바로 활용할 수 있다.

AI에 기업 매뉴얼 전체를 그대로 넣고 문제를 해결할 수 있는 시대가 오고 있다. 사람과 AGI가 동일하게 이해할 수 있는 설명 문서를 잘 작성하는 일이 훨씬 중요해진 이유다. 이를 컨텍스트 엔지니어링(context engineering)이라고 한다. 2022년 11월 30일 챗GPT 출시 이후 ‘프롬프트 엔지니어링’이라는 용어가 유행했다. 그때는 명령어, 즉 프롬프트를 잘 작성하는 것이 관건이었다. 당시 AGI의 성능은 약했고, 반영할 수 있는 문맥 길이도 4000자 남짓이었다. 불과 3년 만에 25만6000자까지 늘었다. 이제는 프롬프트와 더불어 컨텍스트 설계 능력이 기업 경쟁력을 좌우하는 핵심이다.

챗GPT 초기에 기업은 자사 데이터를 반영하기 위해 파인튜닝(fine-tuning)에 나섰다. 내 사정을 잘 아는 AI를 만들고 싶어서였다. 그러나 대부분 실패했다. AI 모델이 이미 너무 단단해져 내부 구조를 잘 아는 제작자가 아니면 새로운 데이터를 입력해 파라미터를 조정하기가 사실상 불가능했다. 기업은 데이터 검색이 중요하다는 사실을 깨달았다. 그래서 등장한 것이 ‘검색 증강 생성’(RAG·retrieval-augmented generation)이다. 사용자의 질문이 들어오면 관련 문서를 검색해 맥락으로 넣고 답변을 생성하는 방식이다. 완벽하지는 않지만 성과는 확실했다. 선도 기업은 수십만 건의 리서치 리포트를 RAG 기반 GPT 시스템에 연결해 내부 AI 도구로 유용하게 활용하고 있다.

새로운 문제를 풀기 위해 굳이 새로운 모델을 학습시키지 않아도 된다. 문제를 25만6000토큰(영어 약 20만 단어, 한글 25만6000자)으로 설명할 수 있다면 설명 문서를 AI에 제공하고 목표 달성 기준과 평가용 데이터를 제시하면 된다. AGI는 목표를 충족할 때까지 방법론을 찾고, 프로그래밍하고, 자체 검증할 수 있다. AI가 문제를 분해하고 코드를 작성하며 평가까지 수행하는 것이다. 그다음에는 비용 효율적이고, 속도가 빠르며, 보안이 보장되는 동시에 관리가 용이한 구조로 발전시키는 것을 시도할 수 있다.

이제 사람은 AI가 잘하는지 가끔 들여다보고, 녹색(go) 버튼과 빨간(stop) 버튼을 누르면 된다. 오늘날 공장에서 사람이 기계 옆 모니터나 모바일 기기로 상황을 감시하고 버튼을 누르는 일과 비슷하다. 마찬가지로 지식노동자도 점차 통제와 조정을 하는 AI 운영 관리자로 변모하고 있다. 앞으로 사무실은 AI에 지시·평가·승인 버튼을 누르는 컨트롤타워가 될 것이다. 전략 설계자, AI가 내놓은 결과의 해석자 및 검증자, 창의적 문제 해결과 새 연구 주제 발굴이 인간의 새로운 역할이다.