구글 딥마인드, 로봇 장치에 최적화된 AI "Gemini Robotics On-Device" 공개

6 hours ago 1

로봇에 직접 탑재해 사용할 수 있도록 최적화된 범용성 높은 VLA(비전-언어-행동) 모델
빠른 태스크 적응과 범용 조작성을 제공하며, 인터넷 연결 없이 로컬에서 동작해 저지연성과 내구성을 보장
최소한의 연산 자원을 필요로 하며 양팔 로봇 기반의 정밀 조작과 빠른 작업 전환 능력을 갖추고 있음
개발자는 Gemini Robotics SDK로 직접 환경에 맞게 빠르게 테스트하고, 50~100회 수준의 소규모 데모만으로도 신속하게 태스크 적응이 가능
타 온디바이스 모델 대비 더 높은 일반화·적응 성능을 보이며, 복잡한 지시나 새로운 작업도 효율적으로 수행함
안전성과 책임 개발 원칙을 적용하여, 실제 환경과 사회적 영향에 대한 리스크 최소화와 피드백 수렴 체계를 도입

We’re introducing an efficient, on-device robotics model with general-purpose dexterity and fast task adaptation

Gemini Robotics On-Device는 로컬 로보틱스 디바이스에서 직접 구동할 수 있도록 설계된 고효율 VLA(비전-언어-행동) 모델
3월에 공개된 Gemini Robotics의 멀티모달 추론 능력과 실세계 이해력을 실제 물리적 환경에 적용함
온디바이스 모델의 강점
- 네트워크 없이도 독립적으로 동작해 저지연성이 필요한 환경이나 연결 불안정한 환경에서도 강점을 보임
- 로컬 환경에 최적화되어 빠른 실시간 작업 수행이 가능
- 다양한 시각적, 의미적, 행동적 일반화 능력 보유
- 양팔 로봇 기반의 정밀한 조작 작업(지퍼 열기, 옷 접기 등) 수행 가능
- 자연어 지시를 이해하고 복잡한 단계적 작업 수행 가능

SDK 제공으로 쉬운 적용과 맞춤화 가능

Gemini Robotics SDK를 통해 개발자가 자체 환경에서 모델을 테스트하고, MuJoCo 물리 시뮬레이터를 이용해 테스트하고 다양한 작업에 적용 가능함
50~100회 수준의 소규모 데모만으로도 신속하게 새로운 도메인 적응이 가능함

Model capabilities and performance

Gemini Robotics On-Device는 bi-arm 로봇에 적합하게 최소한의 연산 자원으로 설계됨
빠른 실험, 손재주 기반 조작, 로컬 구동, 저지연 추론 등에 최적화됨
자연어 명령을 인식하고, 지퍼 열기·옷 개기 같은 고난도 조작도 직접 수행함
기존 온디바이스 모델 대비 범용성·일반화 성능이 우수하며, 복잡한 멀티스텝 지시도 효과적으로 처리함
더 높은 성능이나 제약 없는 환경이 필요할 경우 Gemini Robotics 모델(서버 기반)도 제공함

Adaptable to new tasks, generalizable across embodiments

Gemini Robotics On-Device는 최초로 파인튜닝이 가능한 VLA 모델임
50~100회 수준의 데모만으로 새로운 작업에 빠르게 적응하며, 다양한 난이도의 덱스터리티 태스크(지퍼 채우기, 카드 뽑기, 드레싱 붓기 등)에서 경쟁 모델 대비 높은 적응 성능을 보임
특정 로봇(ALOHA)용으로 학습되었지만, Franka FR3·** Apollo humanoid** 등 다양한 형태의 로봇에도 추가 학습을 통해 확장 가능함
다양한 지시·새로운 객체·복잡한 산업용 태스크(벨트 조립 등)도 처리 가능함

Responsible development and safety

AI Principles와 통합적 안전 프레임워크를 기반으로 모델을 개발함
[Live API] 등으로 의미론적·콘텐츠 안전성을 확보하고, 저수준 안전 제어기와 연동해 실제 동작 시 안전성 강화함
Semantic Safety Benchmark와 Red-Teaming 등 다양한 평가 체계를 통해 리스크를 점검함
전담 팀(Responsible Development & Innovation, RSC)이 사회적 영향 평가 및 피드백 수렴을 지속적으로 수행함
신뢰할 수 있는 테스터 그룹에게 선출시하여 초기 사용성과 안전성 평가를 수집함

Accelerating innovation in robotics

Gemini Robotics On-Device는 로보틱스 커뮤니티에 범용·적응형 AI 모델을 제공하여 지연·연결성 문제를 극복하도록 지원함
SDK를 통한 빠른 적용과 태스크 적응 기능으로 혁신 가속화를 기대함
신뢰할 수 있는 테스트 프로그램(Trusted Tester Program) 을 통해 모델 및 SDK 접근 가능함
AI의 물리적 세계 적용을 확장하며, 로보틱스 분야의 미래를 이끌어갈 비전을 제시

Read Entire Article