우아한형제들의 AI 거버넌스, 플랫폼에 담다

우아한형제들은 여러 Provider의 LLM을 같은 방식으로 호출할 수 있도록 AI Gateway를 운영해 왔습니다. 처음에는 대체 모델, Langfuse(LLM 호출의 트레이스를 기록하고 보는 도구) 연동, 비용 집계가 필요한 과제나, PoC(proof of concept, 개념 검증)를 위해 공용 크레덴셜을 사용하는 과제가 주로 이용했습니다. 그런데 AI를 사용하는 과제가 늘고 Agent가 LLM과 도구를 반복해서 호출하기 시작하면서, 모델 호출을 지원하는 것만으로는 부족해졌습니다. 누가 어떤 목적으로 AI를 사용하고, 얼마를 사용하며, 어디까지 허용할지를 함께 관리해야 했습니다. 이 글에서는 AI Gateway를 전사 공통 호출 경로로 넓히고, 사용을 신청하고 검토하고 승인하는 과정을 직접 만든 AI Studio에 담은 경험을 공유합니다. AI Gateway와 AI Studio로 비용과 보안을 어떻게 관리하는지, 이 구조를 Agent에 어떻게 적용했는지, 플랫폼 자체는 어떻게 보호했는지도 함께 다룹니다. 들어가며 사용이 늘면 비용과 보안 위험도 함께 늘어난다 처음 LLM을 도입했을 때부터 사내 AI 사용량은 꾸준히 늘었고, Agent가 늘어나면서 프로젝트와 호출 수가 더 빠르게 늘었습니다. 사용이 늘면 같이 늘어나는 것이 있습니다. 하나는 비용입니다. 전체 비용은 확인할 수 있었지만, 프로젝트별로 얼마를 사용하는지, 왜 늘었는지는 설명하기 어려웠습니다. 다른 하나는 보안 위험입니다. 민감정보가 외부 Provider로 나갈 수 있고, 하나의 키를 여러 곳이 같이 사용하는 일도 생겼습니다. 더 많은 팀이 Agent를 만들어 사내 도구와 데이터에 연결하면, 문제가 생긴 뒤에 어떤 Agent를 누가 맡는지 찾아서는 늦습니다. 그렇다고 AI 사용을 막을 수는 없습니다. 사용을 막으면 비용과 보안 위험은 줄지만, AI로 얻을 성과도 같이 사라집니다. 그래서 택한 방향은 사용은 계속 늘리고, 비용과 보안은 정한 범위 안에 두는 것이었습니다. 왼쪽 그림은 사용을 막았을 때입니다. 비용과 보안 위험은 낮게 유지되지만 사용도 늘지 않습니다. 오른쪽 그림은 사용을 늘리면서 함께 관리할 때입니다. 사용은 계속 늘어나지만 비용과 보안은 정한 범위 안에 있습니다. 흐린 선은 관리하지 않았을 때 비용과 보안이 얼마나 커지는지를 보여 줍니다. AI 거버넌스는 사용을 막지 않는다 이 글에서 AI 거버넌스는 조직이 AI를 어떤 범위에서 ...