Google의 2억 파라미터, 16k 컨텍스트 시계열 기반 모델 TimesFM

4 hours ago 1

(github.com/google-research)

  • TimesFM은 Google Research가 개발한 시계열 예측용 대규모 사전학습 모델로, 디코더 전용 구조를 사용함
  • 최신 버전 2.5파라미터 수 2억 개, 컨텍스트 길이 16k, 최대 1k horizon 예측을 지원함
  • 연속적 분위 예측, 공변량 입력(XReg), Flax·PyTorch 백엔드 등 다양한 기능을 포함함
  • 모델은 Hugging Face를 통해 공개되며, BigQuery에도 통합되어 활용 가능함
  • 시계열 데이터 예측의 범용 기반 모델로, 연구와 실무 모두에서 확장성과 효율성을 제공함

TimesFM 개요

  • TimesFM(Time Series Foundation Model) 은 Google Research가 개발한 시계열 예측용 사전학습 모델
  • ICML 2024 논문 *“A decoder-only foundation model for time-series forecasting”*을 기반으로 함
  • 모델 체크포인트는 Hugging Face 컬렉션을 통해 제공되며, BigQuery에도 공식적으로 통합됨
  • 오픈 버전은 공식 Google 제품이 아님

모델 버전 및 주요 업데이트

  • 최신 버전은 TimesFM 2.5, 이전 버전(1.0, 2.0)은 v1 디렉터리에 보관되어 있으며 timesfm==1.3.0으로 설치 가능
  • 2025년 9월 15일 업데이트

    • TimesFM 2.5 모델 공개
    • 파라미터 수 200M으로 축소(이전 500M 대비 절반 이하)
    • 컨텍스트 길이 16k로 확장(기존 2048에서 증가)
    • 연속적 분위 예측(continuous quantile forecast) 을 최대 1k horizon까지 지원, 선택적 30M quantile head 포함
    • frequency 인디케이터 제거
    • 새로운 예측 플래그(forecasting flags) 추가
    • 추론 API(inference API) 업그레이드
    • 향후 추가 예정 항목
      1. Flax 버전 모델 지원(더 빠른 추론)
      2. 공변량(covariate) 지원 복원
      3. docstring, 문서, 노트북 보강
  • 2025년 10월 29일 업데이트

    • XReg를 통한 공변량(covariate) 입력 지원이 TimesFM 2.5에 다시 추가됨

설치 방법

  • GitHub 저장소를 클론하고 uv를 이용해 가상환경 생성 및 패키지 설치
    • torch, flax, xreg 중 선택적 백엔드 설치 가능
    • OS 및 가속기(CPU, GPU, TPU, Apple Silicon)에 따라 PyTorch 또는 JAX(Flax) 선택 가능

코드 예시

  • PyTorch 기반 TimesFM 2.5 (200M 파라미터) 모델 로드 예시 제공
    • timesfm.TimesFM_2p5_200M_torch.from_pretrained("google/timesfm-2.5-200m-pytorch") 사용
    • ForecastConfig를 통해 입력 정규화(normalize_inputs), 연속 분위 헤드 사용, 양수 강제(infer_is_positive), 분위 교차 수정(fix_quantile_crossing) 등의 설정 가능
    • forecast() 호출 시 point forecastquantile forecast 두 가지 결과 반환
      • point_forecast.shape: (2, 12)
      • quantile_forecast.shape: (2, 12, 10) — 평균 및 10~90 분위 포함
Read Entire Article