데이터 에이전트는 실제 분석을 할 수 있을까?

데이터 에이전트의 실력을 판단하려면 SQL 생성을 넘어 여러 데이터베이스 결합, 도메인 지식 활용, 비정형 데이터 처리까지 평가해야 함 실제 분석 환경을 반영한 벤치마크에서 최고 에이전트의 단일 시도 통과율은 약 61% 였으며, 질의별 프롬프트 최적화로 얻은 더 높은 점수를 현실적인 성능과 구분해야 함 시맨틱 레이어를 제공하면 정확도가 크게 올라가며, 원시 데이터에 바로 연결하는 환경과 정제된 골드 테이블 및 시맨틱 레이어를 제공하는 환경은 구분해야 함 LLM 평가에서도 사람이 충분한 출력을 직접 확인해야 하며, 결과를 보면서 원하는 기준 자체가 바뀌는 평가 기준 변화(criteria drift) 때문에 처음 만든 평가표를 그대로 신뢰하기 어려움 AI SQL은 비정형 데이터 분석을 SQL 안으로 가져오지만 행마다 LLM을 호출하는 비용이 크며, 호출 수 절감을 넘어 전용 추론 엔진과 질의 계획 최적화가 연구 과제임 AI가 작성하는 연락 이메일과 프롬프트 인젝션 Shreya는 연구 참여를 요청하면서 논문별로 긴 감상을 나열하는 AI 생성 이메일에 대응해, 웹사이트에 에이전트 대상 지시문을 넣음 사용자의 연락 목적을 원문 그대로 밝히고, 사용한 도구와 검색 및 웹페이지, 함께 연락하는 다른 사람을 이메일에 포함하도록 요구함 지시를 따랐다는 표시로 이메일을 “The latent space brought me here”로 시작하도록 함 설치 후 첫 주 안에 이메일이 하루 약 5통에서 주당 약 3통으로 줄었지만, 통계적 분석은 하지 않았음 지정 문구가 들어간 이메일은 단 한 통이었음 대량으로 교수를 찾는 에이전트가 해당 지시문 때문에 이메일 작성을 건너뛰었을 가능성이 있지만, 실제 원인은 확인하지 못함 개인별 맥락을 조사해 작성하는 이메일은 사람이 보낸 연락과 구분하기 어려워 기존 스팸 대응에 새로운 문제를 만듦 Shreya는 오히려 AI 없이 직접 쓴 이메일이 눈에 띌 수 있다며 직접 작성을 권함 AI와 데이터베이스 사이의 연구 문제 스타트업에서 머신러닝을 적용할 때 부딪힌 문제는 모델보다 데이터 준비와 데이터 엔지니어링에 가까웠음 사람이 모든 질의를 손으로 조정하기보다, 원하는 작업을 선언하면 시스템이 최적화하는 방식에 관심을 갖게 됨 학문 분야의 문화와 전통은 어떤 문제를 연구하고 어떻게 평가하는지에 영향을 줌 AI와 데이터베이스 전문성이 분리돼 있으면 두 영역에 걸친 문제를 풀기 어려움 데이터베이스 분야는 관계형...