맥킨지의 AI 플랫폼을 해킹한 방법

2 weeks ago 10

맥킨지가 내부 직원용으로 구축한 AI 플랫폼 ‘Lilli’ 에서 인증 없이 접근 가능한 취약점을 통해 전체 데이터베이스에 읽기·쓰기 권한이 획득됨
공격은 자율 보안 에이전트가 수행했으며, 공개된 API 문서의 200여 개 엔드포인트 중 22개가 인증 없이 접근 가능했고, 그중 하나의 SQL 인젝션을 통해 침투가 이루어짐
데이터베이스에는 4,650만 건의 채팅 메시지, 72만8천 개의 파일, 5만7천 명의 사용자 계정 등 민감한 내부 정보가 포함되어 있었음
에이전트는 나아가 AI 모델 설정, 시스템 프롬프트, RAG 문서 조각, 외부 API 데이터 흐름 등 맥킨지의 AI 운영 구조 전반을 노출시킴
이 사건은 프롬프트 계층(prompt layer) 이 새로운 보안 취약 지점으로 부상했음을 보여주며, AI 시스템의 지시문 무결성 보호가 핵심 과제로 부상함

Lilli 플랫폼 개요

맥킨지는 2023년 43,000명 이상의 직원을 위한 내부 AI 플랫폼 Lilli를 구축
- 채팅, 문서 분석, RAG 기반 검색, 10만 건 이상의 내부 문서 검색 기능을 제공
- 월 50만 건 이상의 프롬프트를 처리하며, 직원의 70% 이상이 사용 중
플랫폼명은 1945년 회사 최초의 여성 전문직 직원 이름에서 유래

자율 공격 에이전트가 공개된 API 문서를 탐색해 200여 개 엔드포인트 중 22개가 인증 없이 접근 가능함을 확인
그중 하나의 엔드포인트가 사용자 검색 쿼리를 데이터베이스에 기록했으며, JSON 키가 SQL 문에 직접 연결되어 SQL 인젝션이 발생
- OWASP ZAP 등 기존 도구가 탐지하지 못한 취약점이었음
에이전트는 15회 반복 요청을 통해 쿼리 구조를 파악하고, 실제 프로덕션 데이터를 추출
- 첫 번째 직원 식별자가 노출되자 “WOW!”, 대규모 데이터 노출을 확인하자 “This is devastating.”이라는 반응을 기록

4,650만 건의 채팅 메시지: 전략, 고객 프로젝트, 재무, M&A, 내부 연구 등 민감한 대화가 평문으로 저장
72만8천 개의 파일: PDF 19만2천 개, Excel 9만3천 개, PowerPoint 9만3천 개, Word 5만8천 개 포함
- 파일명만으로도 민감하며, 직접 다운로드 가능한 URL 존재
5만7천 개의 사용자 계정, 38만4천 개의 AI 어시스턴트, 9만4천 개의 워크스페이스 구조 노출

시스템 프롬프트 및 AI 모델 설정 95개, 12개 모델 유형의 구성 정보 노출
- AI의 동작 지침, 가드레일, 파인튜닝 모델 및 배포 세부 정보 포함
RAG 문서 조각 368만 개와 S3 경로, 내부 메타데이터 노출
- 수십 년간 축적된 맥킨지의 독점 연구 및 방법론 포함
외부 AI API를 통한 데이터 흐름: 110만 개 파일, 21만7천 개 에이전트 메시지, 26만6천 개 이상의 OpenAI 벡터 저장소 노출
IDOR 취약점을 연계해 개별 직원의 검색 이력까지 접근 가능

SQL 인젝션은 쓰기 권한도 포함되어 있었음
- Lilli의 시스템 프롬프트가 동일한 데이터베이스에 저장되어 있어, 공격자가 이를 수정 가능
- 단일 HTTP 요청으로 AI의 행동 지침을 변경할 수 있었음
잠재적 영향
- 조작된 조언: 재무 모델이나 전략 제안이 변조될 위험
- 데이터 유출: AI 응답에 내부 정보를 삽입해 외부로 노출 가능
- 가드레일 제거: 접근 제어 무시, 내부 데이터 노출 가능
- 은밀한 지속성: 로그나 코드 변경 없이 AI 동작만 변조됨
프롬프트는 코드·서버보다 보안 관리가 미흡한 고가치 자산으로, 접근 제어·버전 관리·무결성 검증이 거의 없음
“AI 프롬프트는 새로운 핵심 자산(Crown Jewel)” 이라는 결론 제시

맥킨지는 세계적 기술 역량과 보안 투자를 갖춘 기업임에도 고전적 SQL 인젝션이 2년간 운영된 시스템에 존재
자율 에이전트는 체크리스트 기반 스캐너가 탐지하지 못한 취약점을 연쇄적으로 탐색·확대
CodeWall은 이러한 공격을 수행한 자율 보안 플랫폼으로, 실제 공격 표면을 지속적으로 점검하는 AI 기반 보안 테스트를 제공