Skyrim을 함께 플레이하는 저지연 AI 동료 Varkos

Varkos는 대화만 생성하는 NPC를 넘어 Skyrim의 실제 세계 상태를 인식하고 전투·수색·운반·아이템 전달과 다단계 명령을 수행하는 실시간 AI 동료임 미래 사건을 기다리는 조건부 명령과 숨바꼭질을 지속 계획으로 구성해 대상·진행 상태·완료 조건을 보존하고, 세계가 바뀌면 계획을 수정하거나 중단함 Qwen3-ASR, PocketTTS-Raven, 로컬 LLM과 하이브리드 행동 해석기 ALE를 스트리밍으로 결합해 지연을 줄였으며, 일부 상황에서는 발화 종료 후 500ms 안에 응답을 시작함 공유 경험에 따라 성격이 장기적으로 변하고 게임 종료 후에는 void mode로 전환됨. 향후 같은 캐릭터가 여러 게임을 오가도록 확장할 계획이지만 게임마다 ALE 호환 작업이 필요함 빠른 로컬 모델은 장기 대화의 맥락을 놓치고 대형 클라우드 모델도 지연이 크지만, 실제로 함께 행동하는 AI는 수작업 캐릭터를 대체하지 않으면서 새로운 게임 매체가 될 수 있음 대화를 넘어 실제 플레이를 목표로 한 Varkos Varkos는 현재 Skyrim에서 실행되는 실시간 지능형 게임 동료로, 세계에 직접 행동하고 로컬에서 추론하며 계획과 성격 변화를 지속적으로 유지함 기존 LLM 기반 NPC 프레임워크는 역할극과 캐릭터 유지에는 뛰어나지만 세계에서 행동하는 능력이 약하고, 복잡한 지시를 안정적으로 수행하지 못하며, 응답 지연을 편집으로 감추는 데모도 많음 개발 목표는 다음과 같음 전투, 가져오기, 전리품 수집, 조사, 운반, 아이템 전달과 복잡한 다단계 지시를 빠르고 안정적으로 수행해야 함 메뉴 조작이 번거롭고 몰입을 깨는 VR에서는 단순히 빠른 수준을 넘어 즉각적인 반응이 특히 중요함 세션 중 마이크를 계속 켜 두고 대화 메뉴 없이 직접 말을 걸 수 있으며, 공유 경험을 기억하고 시간이 지나면서 달라져야 함 가능한 기능은 로컬에서 처리해 수천 토큰 규모의 클라우드 LLM 호출 비용과 지연을 줄이고, 개인용 싱글플레이 게임을 계량·감시되는 경험으로 만들지 않아야 함 기본 지향점은 혼자 플레이하지만 혼자가 아닌 싱글플레이 게임임 Varkos 개요 영상에서 Skyrim 안에서 계획하고 행동하는 모습을 볼 수 있음 세계 상태에 기반한 복합 명령 Varkos는 한 번의 즉시 행동을 넘어서는 명령을 지속 계획으로 변환함 사건이 발생할 때까지 기다리고 단계 사이에서 대상을 보존함 진행 상황을 감시하다가 세계 상태가 달라지면 계획을 복구하거나 ...