- LLM 기반 에이전트(agent) 를 처음 개발하는 제품 및 엔지니어링 팀을 위한 실용적인 가이드
- 에이전트는 기존 자동화 시스템과 달리 복잡하고 모호한 상황에서도 스스로 판단하고 조치하는 시스템
- 단일 에이전트 시스템부터 다중 에이전트 오케스트레이션까지 다양한 설계 패턴을 설명함
- 신뢰성과 안전성을 위해 가드레일(guardrail) 설정 및 사람 개입(human intervention) 전략을 강조함
- 초기에는 작은 범위에서 시작하여 사용자 피드백을 기반으로 점진적으로 확장하는 접근을 권장
에이전트란 무엇인가
- 에이전트는 사용자를 대신해 작업을 수행하는 시스템임
- 단순 챗봇이나 감정 분석기처럼 한 번만 응답하는 모델은 에이전트에 해당하지 않음
- 에이전트는 다음 두 가지 핵심 기능을 가짐
-
워크플로우 실행 관리 및 의사 결정: 완료 여부 판단, 오류 수정 및 실패 시 사용자에게 제어권 반환
-
도구(tool) 사용: 외부 시스템과 상호작용하여 데이터를 수집하거나 조치를 취함
에이전트를 언제 구축해야 하는가
- 전통적 자동화 방식이 실패하거나 유지보수가 어려운 영역에 적합함
- 적합한 사례
-
복잡한 의사결정: 고객 환불 승인처럼 섬세한 판단이 필요한 경우
-
유지보수가 어려운 규칙 기반 시스템: 보안 심사 자동화처럼 규칙이 복잡한 경우
-
비정형 데이터 처리: 문서 분석, 자연어 이해가 필요한 경우
에이전트 설계의 기본 요소
-
모델(Model): 추론과 결정을 담당하는 LLM
-
도구(Tools): 외부 시스템과 상호작용하는 API 함수들
-
지침(Instructions): 에이전트 행동을 정의하는 명확한 지시사항
모델 선택 가이드라인
- 가장 성능 좋은 모델로 프로토타입 개발 → 이후 비용·지연시간을 고려하여 작은 모델로 교체 시도
-
평가 기준(evals) 을 설정하고 정확도를 검증한 후 최적화
도구 정의 방법
- 표준화된 방식으로 도구를 설계해 재사용성을 높임
- 도구 유형
-
데이터 조회: DB 검색, 문서 읽기, 웹 검색
-
행동 수행: 이메일 발송, CRM 업데이트
-
오케스트레이션: 다른 에이전트를 호출하여 작업 분담
지침 작성 베스트 프랙티스
- 기존 운영 문서나 정책 문서를 활용하여 명확한 단계별 지시사항 작성
- 작업을 세분화하여 구체적인 행동(action) 단위로 명시
- 에러나 예외 상황 처리 방법(엣지 케이스)을 반드시 포함
오케스트레이션 패턴
단일 에이전트 시스템
- 하나의 에이전트가 반복 루프(run loop)를 통해 다수 작업을 처리
-
프롬프트 템플릿을 사용하여 다양한 상황에 대응
- 복잡도가 관리 가능할 때까지 단일 에이전트로 유지 권장
다중 에이전트 시스템
매니저 패턴 (Manager Pattern)
- 중앙 매니저 에이전트가 여러 전문 에이전트를 도구(tool) 처럼 호출하여 워크플로우를 조율
- 사용자와의 인터페이스를 일관성 있게 유지
분산 패턴 (Decentralized Pattern)
- 에이전트들이 서로 핸드오프(handoff) 하며 제어권을 넘겨줌
- 특정 전문 분야를 가진 에이전트가 필요한 순간 제어권을 가짐
- 초기에 단순한 업무 트리아지(triage)에 적합
가드레일(Guardrails)
목적
- 데이터 프라이버시 보호 및 시스템 악용 방지
- 브랜드 일관성 유지 및 부적절한 응답 차단
주요 유형
-
관련성 필터링: 주제와 무관한 입력 차단
-
안전성 필터링: 시스템 탈출(jailbreak) 시도 감지
-
개인정보 보호(PII) 필터: 민감 정보 노출 차단
-
모더레이션(Moderation): 폭력, 혐오 발언 차단
-
도구 리스크 관리: 고위험 도구 호출 시 추가 검증
구축 전략
- 데이터 프라이버시와 콘텐츠 안전성을 최우선으로 고려
- 실사용 중 발견된 신규 위험에 맞춰 지속적으로 추가
- 보안과 사용자 경험 균형 맞추기
사람 개입(Human-in-the-loop)
- 에이전트가 실패했을 때나 고위험 작업을 처리할 때 인간에게 제어권 넘기기
- 대표적 트리거
- 실패 임계치 초과
- 민감도 높은 작업 요청(환불, 결제 등)
결론
- 에이전트는 복잡하고 불확실한 상황에서 워크플로우를 자동화할 수 있는 혁신적 시스템임
- 강력한 모델-도구-지침 체계를 갖추고 점진적으로 오케스트레이션 확장
-
가드레일과 사람 개입 체계를 필수로 구축해야 안전성과 신뢰성을 확보할 수 있음
- 작게 시작하여 빠르게 검증하고 점진적으로 기능을 확장하는 것이 성공적인 배포의 핵심임