- 웹앱을 위한 AI 기반 오픈소스 E2E 테스팅 프레임워크
-
자연어로 쉽게 테스트 케이스를 작성하고, 추론 AI 에이전트가 테스트 계획을 세우고, 비주얼 AI 에이전트가 UI 변화를 인식하고 적응하여 테스트를 실행
-
멀티모달 LLM과 비전 모델을 조합해 빠르고 정확한 UI 테스트를 수행하고, 계획은 저장되어 항상 동일한 방식으로 실행 가능
- 문제가 발생하면 추론 에이전트가 자동으로 문제를 해결함
-
CI/CD 통합이 가능하며, Playwright와 유사한 방식으로 테스트 실행을 지원. CI 환경(GitHub Actions 등)에서 테스트 실행 가능
-
왜 OpenAI Operator나 Claude Computer Use를 사용하지 않는가?
- Magnitude는 계획과 실행을 분리하여 설계함
- 일반적인 데스크탑/웹 작업용 API보다 속도, 신뢰성, 비용 면에서 테스트 실행에 최적화되어 있음
- 별도의 자체 런너를 제공하여 신뢰성, 속도, 비용 효율성을 극대화
- LLM 추천
-
플래너 모델: 일반 멀티모달 LLM 사용 (추천: Gemini 2.5 Pro)
-
익스큐터 모델: 빠른 비전 LLM인 Moondream 사용
- 예제 1
test('can add and complete todos', { url: 'https://magnitodo.com' })
.step('create 3 todos')
.data('Take out the trash, Buy groceries, Build more test cases with Magnitude')
.check('should see all 3 todos')
.step('mark each todo complete')
.check('says 0 items left')
- 예제 2
test('can log in and create company')
.step('Log in to the app')
.data({ username: 'test-user@magnitude.run', password: 'test' })
.check('Can see dashboard')
.step('Create a new company')
.data('Make up the first 2 values and use defaults for the rest')
.check('Company added successfully');