Magnitude - 웹앱용 AI-Native 테스팅 프레임워크 오픈소스

1 day ago 7

  • 웹앱을 위한 AI 기반 오픈소스 E2E 테스팅 프레임워크
  • 자연어로 쉽게 테스트 케이스를 작성하고, 추론 AI 에이전트가 테스트 계획을 세우고, 비주얼 AI 에이전트UI 변화를 인식하고 적응하여 테스트를 실행
  • 멀티모달 LLM비전 모델을 조합해 빠르고 정확한 UI 테스트를 수행하고, 계획은 저장되어 항상 동일한 방식으로 실행 가능
  • 문제가 발생하면 추론 에이전트가 자동으로 문제를 해결함
  • CI/CD 통합이 가능하며, Playwright와 유사한 방식으로 테스트 실행을 지원. CI 환경(GitHub Actions 등)에서 테스트 실행 가능
  • 왜 OpenAI Operator나 Claude Computer Use를 사용하지 않는가?
    • Magnitude는 계획실행을 분리하여 설계함
    • 일반적인 데스크탑/웹 작업용 API보다 속도, 신뢰성, 비용 면에서 테스트 실행에 최적화되어 있음
    • 별도의 자체 런너를 제공하여 신뢰성, 속도, 비용 효율성을 극대화
  • LLM 추천
    • 플래너 모델: 일반 멀티모달 LLM 사용 (추천: Gemini 2.5 Pro)
    • 익스큐터 모델: 빠른 비전 LLM인 Moondream 사용
  • 예제 1 test('can add and complete todos', { url: 'https://magnitodo.com' }) .step('create 3 todos') .data('Take out the trash, Buy groceries, Build more test cases with Magnitude') .check('should see all 3 todos') .step('mark each todo complete') .check('says 0 items left')
  • 예제 2 test('can log in and create company') .step('Log in to the app') .data({ username: 'test-user@magnitude.run', password: 'test' }) .check('Can see dashboard') .step('Create a new company') .data('Make up the first 2 values and use defaults for the rest') .check('Company added successfully');

Read Entire Article