중요한 것을 측정하기: 인과 추론으로 AI 인프라를 정량화 가능한 사업 투자로 바꾼 방법

Meta는 광고 ML 인프라가 모델 개선을 통해 창출한 추가 매출을 추정하기 위해, 개별 모델 출시를 분석 단위로 삼는 관찰 데이터 기반 인과 추론을 적용함 인프라는 여러 팀이 공유하고 다른 팀의 작업을 통해 가치를 내므로 무작위 A/B 테스트가 어렵고, 모델 개선의 실험 결과만으로는 인프라의 기여를 분리할 수 없음 사용률로는 가장 유망했던 모델 기반 계층보다, 도입이 적었던 학습 확장성 플랫폼의 도입 출시당 추가 매출 기여가 약 2배 컸으며 전체 추가 매출도 더 높았음 추정은 컴퓨팅 자원, 인력, 모델 복잡도, 출시 시점을 통제하면 도입 여부가 매출 결과에 대해 사실상 무작위가 된다는 조건부 가정에 의존하며, 도입 가능했던 미사용 출시만 비교군으로 삼음 이 비교를 토대로 후속 투자 배분을 변경했으며, 방법을 도입하려면 출시 단위 데이터와 함께 A/B 테스트보다 넓은 신뢰구간을 받아들이는 조직적 합의가 필요함 광고 ML 인프라의 매출 기여를 분리하는 문제 대규모 광고 시스템의 ML 모델은 실시간으로 노출할 광고, 입찰 금액, 후보 순위를 예측하며, 예측 품질이 플랫폼 매출에 직접 영향을 줌 개선된 모델을 출시했을 때의 매출 효과는 A/B 테스트로 측정할 수 있음 모델 뒤의 ML 인프라는 직접 매출을 발생시키기보다 엔지니어가 매출을 높이는 모델 개선을 가능하게 하거나, 더 빠르고 저렴하게 수행하도록 지원함 학습 플랫폼은 모델 아키텍처 반복 개선을 가속함 서빙 시스템은 지연 시간을 줄이고 처리량을 높여 모델을 운영 환경에 배포함 특성 엔지니어링 파이프라인은 더 풍부한 신호를 공급함 실험 프레임워크는 테스트부터 출시까지의 주기를 단축함 인프라 팀의 목표는 기반 도구를 개선해 후속 모델 개선의 속도와 규모를 극대화하는 것이지만, 발생한 매출 중 인프라와 직접적인 ML 엔지니어링 작업의 몫을 구분하기 어려움 주요 기술 기업은 AI 인프라에 수십억 달러를 투자하고 있지만, 가동 시간이나 처리량과 달리 사업 효과는 명확히 측정하지 못하는 경우가 많음 새 서빙 플랫폼에 엔지니어 1명분의 연간 작업량을 투입했을 때 추가 매출이 얼마인지가 핵심 질문임 A/B 테스트 대신 관찰 데이터로 식별하기 인프라는 수십 개 팀이 공유하고, 가치가 다른 팀의 작업을 거쳐 발생하므로 효과를 특정 지점에 국한하기 어려움 모델 출시나 엔지니어를 플랫폼 사용자와 비사용자로 무작위 배정하는 일은 기술적으로 불가능하거나 비용이 지나치게 크며, 거의 항상...