프롬프트는 실재하지 않는다

프로덕션 에이전트의 신뢰성을 높이려면 프롬프트 문구를 다듬는 대신 평가와 최적화가 맞물린 피드백 루프를 구축해야 함 프롬프트는 독립적으로 작동하지 않으며, 기존 지시와 문맥, 에이전트 변경, 모델의 불투명한 동작 변화에 따라 효과가 달라짐 반복 실행하는 pass^k 테스트로 행동을 측정하고, GEPA 같은 최적화기로 프롬프트를 자동 수정하되 홀드아웃 테스트로 과적합을 확인해야 함 평가 방식은 결정론적 검증부터 복잡한 LLM 판정기까지 달라지며, 브랜드 어조 같은 주관적 판단에는 전문가가 라벨링한 데이터와 별도의 최적화가 필요함 도메인 전문가는 프롬프트 관리보다 평가용 데이터셋과 품질 측정 기준에 집중하고, 운영 중 발견한 실패를 테스트와 최적화에 다시 반영해야 함 대상은 대화형 챗봇이 아니라 실제 작업을 수행하는 에이전트 핵심 대상은 소비자를 대신해 작업을 수행하는 에이전트이며, 출력과 결과가 대체로 주관적인 대화형 챗봇과 구분됨 에이전트를 만들고 다른 에이전트의 평가를 구축하는 작업은 프로그래밍의 즐거움을 되살릴 만큼 매력적이지만, 심리적으로 소모적이기도 함 에이전트로 에이전트를 실행하고 평가하는 일이 즐거운 동시에, 훌륭한 엔지니어링과 심리적 붕괴의 경계가 얇게 느껴지는 경험임 아직 무엇이 올바른 방법인지 확신하기 어려운 분야이므로, 완성된 정답보다는 실제 운영 경험을 비교할 필요가 있음 프롬프트가 텍스트라는 이유로 의식 없는 시스템에 의도적 관점(intentional stance) 을 적용하면, 그 텍스트가 인간의 의도와 같은 의미를 갖지 않는다는 본질을 놓치기 쉬움 작은 실패도 운영 규모에서는 드러남 LLM은 지시 준수, 진실한 답변, 작업 수행을 안정적으로 해내지 못하지만, 일상적인 사용에서는 꽤 신뢰할 만하다는 인상을 줄 수 있음 실제 사용자가 쓰는 에이전트를 운영하면 미묘한 실패뿐 아니라 단순한 실패도 드러남 구조화된 출력도 예외가 아님 Python 코드를 프롬프트에 자동으로 대응시키고 스키마를 따르게 할 수 있지만, 항상 준수하지는 않음 제목을 80자 이하로 반환하라고 해도 일부 요청에서는 JSON에 관한 자기 지시를 끝없이 반복하며 필드를 무의미한 내용으로 채움 가장 뛰어난 모델에서도 발생하며, 실패 비율은 입력의 구체적인 내용에 따라 달라져 지속적인 관찰이 필요함 한 사례에서는 필드 이름을 title에서 heading으로 변경하자 문제가 해결됐지만, 이 수정이 계속 유효하리라는 보장은 없음 도...