Put-That-There - 1980년 MIT 음성·포인팅 데모를 브라우저에서 재현

지난달 OpenAI GPT-6 Astra 출시 영상이 오래된 MIT 실험 영상으로 시작하길래 뭔지 찾아봤습니다.
1980년 MIT Architecture Machine Group의 "Put-That-There" 데모였는데, 의자에 앉아 벽 화면을 가리키며 "put that there"라고 말하면 컴퓨터가 알아듣고 옮겨 주는 데모입니다. 46년 전에 꿈꾸던 걸 이제는 브라우저 하나로 할 수 있겠다 싶어서, 요즘 AI 발전에 뽕이 좀 차오른 김에 직접 만들어 봤습니다.
원본 영상: https://www.youtube.com/watch?v=RyBEUyEtxQo

스페이스바를 누른 채 영어로 말하면서 마우스로 가리키면 됩니다. "put a duck there"라고 하면 "there"라고 말한 순간 커서가 있던 곳에 오리가 생깁니다. 블랙홀도 됩니다.

코딩 에이전트와 같이 일주일 정도 걸렸습니다.

• 음성 인식은 로컬 브라우저 안에서 Whisper(transformers.js)로 처리했습니다.
• Whisper가 단어마다 시간정보를 줘서, "that"과 "there"를 말한 순간의 마우스 좌표 위치를 인식합니다. 조금 일찍이나 늦게 가리키는 경우가 많아서 살짝 빗나가도 인정하게 했습니다.
• 명령은 대부분 문법으로 매칭하되, 해석하지 못한 문장은 텍스트로 Gemini Flash-Lite에 보내서 처리하게 했습니다.

초기 버전은 한국 억양 TTS로 "create a blue square there"라고 하니까 "blue square tail"로 알아듣고 그걸 만들려고 했습니다. 지금은 많이 나아졌고 제 발음도 잘 알아듣습니다.

G를 누르면 명령 여섯 번으로 방을 꾸며 1980년 연구비 심사위원을 설득하는 짧은 게임도 있습니다.
최근에 재미있게 했던 클로버핏에서 영감을 받았습니다.

PC 브라우저 전용이고 언어는 현재는 영어만 가능합니다. 처음 접속하면 모델을 110MB 정도 받습니다.

한국 억양으로 했을 때 잘 알아듣는지, 이상하게 알아들은 문장이 있으면 알려주세요. 고쳐보겠습니다.

감사합니다.