유안타증권 AI Agent 프로젝트: 실전 LLM 서비스 개발(고생)기

1.서두: 2025년 AI 업계의 화두는 ‘Agent’이며, 기존 RAG 중심 챗봇 접근 방식에서 벗어나 보다 고도화된 시스템이 필요함을 강조.

2.프로젝트 소개 (유안타 AI 챗봇 서비스): 금융 보안 요건 등 높은 진입 장벽을 극복하고 AI 기반 투자 분석 기능을 포함한 챗봇을 개발, 혁신 금융 서비스로 선정됨.

3.요구사항 도출 및 의도 분류 활용: 사용자 실제 질의 데이터를 분석하여 서비스 요구사항을 조정, Function Calling을 기반으로 LLM의 지속적 개선을 위한 모니터링 체계 구축.

4.Function Calling 기법: RAG의 한계를 보완하여 실시간 데이터를 처리하는 방식으로 Function Calling을 활용했으나, 다중 기능 연동 및 정확한 호출에 대한 어려움을 극복해야 했음.

5.프롬프트 엔지니어링과 운영 관점: 프롬프트 설계와 버전 관리를 통해 LLM 성능을 최적화하고, 비용 절감 및 보안 강화를 위한 운영 전략이 필수적임을 강조.