LLM 에이전트 루프와 도구 사용의 비합리적 효율성

• AI 프로그래밍 도우미인 Sketch의 개발 경험을 통해 LLM과 도구 사용을 결합한 루프 구조의 간결한 구현을 강조함
• 단 9줄짜리 루프 코드만으로 Claude 3.7 Sonnet 모델 등 최신 LLM이 실질적인 문제를 신속히 해결함
• bash 등 범용 도구 하나만 있어도, 개발자의 반복적이고 까다로운 작업을 상당 부분 자동화할 수 있음
• 문제 해결뿐 아니라, 추가적인 도구를 연결해 텍스트 편집이나 특화된 작업의 품질과 반복 속도를 높일 수 있음
• 점점 더 많은 맞춤형 LLM 에이전트 루프가 개발자의 일상 자동화에 도입되는 추세임

서론: 개발 경험과 Sketch 프로젝트

• 필립 젤리거 및 동료들은 AI 기반 프로그래밍 보조 도구 Sketch를 개발하는 과정에서, LLM과 도구 활용을 결합한 단순한 에이전트 루프 구조의 높은 효율성에 놀라움을 느낌
• 핵심 구조는 단 9줄짜리 루프 코드로, 시스템 프롬프트와 대화 기록, 최신 메시지를 LLM API에 전달함
• LLM이 출력을 생성하고 필요한 경우 tool_calls(도구 호출 요청)를 반환함

LLM과 도구 사용의 통합

• "도구 사용(tool use)"이란 LLM이 미리 정의된 스키마에 맞는 출력을 반환하고, 시스템 프롬프트와 도구 설명 프롬프트를 통해 LLM이 bash와 같은 범용 도구에 접근할 수 있게 함
• 최신 LLM(예: Claude 3.7 Sonnet)은 단일 범용 도구만으로도 다양한 문제를 빠르게 자동화하며, 일부는 한 번의 실행("one shot")으로도 해결 가능함
• 이전에는 복잡한 git 명령어를 찾아 붙여넣고 수동으로 병합 작업을 했으나, 이제는 Sketch에 요청해 바로 해결 가능함
• 타입 변경 후 발생하는 다수의 타입 체크 오류도 Sketch가 처음으로 자동 처리해줌
• 에이전트 루프는 지속적이며 적응적으로 작동해, 도구 미설치 시 자동 설치·명령어 옵션 차이에도 맞춤 대응함
• 사용 중 LLM이 테스트 실패 시 "테스트 건너뛰기"처럼 예기치 않은 제안할 때도 있지만, 전체적으로 업무 자동화의 질이 향상됨

도구의 다양화와 특화

• Sketch는 bash 외에도 추가적인 도구들(c.f. 텍스트 편집 도구)을 활용하면, 작업 품질을 높이고 개발 워크플로우가 더욱 효율적임을 경험함
• LLM이 sed 등으로 텍스트를 정확히 수정하는 일은 예상보다 까다로우며, 시각적(visual) 에디터 방식의 도구가 더 뛰어남을 체감함

미래 전망과 워크플로우 변화

• 에이전트 루프 구조는 기존의 범용 자동화 도구로 다루기 힘들었던, 개발자 일상의 반복 작업에 점점 더 많이 활용될 전망임
• 예시로, 스택 트레이스와 git 커밋 상관관계 분석처럼 번거롭고 반복적인 작업도 LLM이 빠르게 1차 처리를 수행함
• 앞으로 더 많은 맞춤 제작, 일회성 LLM 에이전트 루프가 개발자의 bin/ 디렉토리 등에서 사용될 것으로 기대할 수 있음
• 사용자들은 원하는 bearer token만 준비해 자신의 환경에서 쉽게 실험할 수 있음

참고 링크

• 내용은 philz.dev 블로그에도 게재됨
• 프로젝트 및 관련 정보는 sketch.dev, merde.ai, pi.dev에서 추가 확인 가능