MacBook을 1달러 하드웨어로 터치스크린으로 전환한 Project Sistine

• Project Sistine은 MacBook을 단 1달러의 부품과 컴퓨터 비전 기술로 터치스크린처럼 동작하게 만든 프로토타입
• 내장 웹캠 앞에 작은 거울을 설치해 화면을 비스듬히 인식하고, 손가락과 반사상의 교차점을 터치로 감지
• 피부색 필터링과 외곽선 분석을 통해 터치·호버 지점을 계산하고, 호모그래피 보정으로 화면 좌표에 매핑
• 감지된 입력은 마우스 이벤트로 변환되어 기존 앱에서도 즉시 터치 조작이 가능
• 480p 카메라에서도 작동하며, 고해상도 카메라나 곡면 거울을 사용하면 인식 범위를 확장할 수 있는 저비용 터치스크린 구현 사례

Project Sistine 개요

• MacBook을 터치스크린으로 전환하기 위해 단 1달러의 하드웨어와 간단한 컴퓨터 비전 기술을 사용한 Project Sistine 시연
  • 약 16시간 동안 4명이 제작한 proof-of-concept 프로토타입
  • 이름은 시스티나 성당의 ‘천지창조’ 그림 재현에서 착안

기본 원리

• 화면을 비스듬히 보면 빛 반사로 손가락과 그 반사상이 함께 보이는 현상을 이용
  • 손가락이 반사상과 맞닿는 순간을 감지해 터치 여부를 판별
• 기존 Kevin이 제작한 ShinyTouch 프로젝트에서 아이디어를 가져옴
  • 외부 웹캠을 사용하던 방식을 MacBook 내장 웹캠과 소형 거울로 대체
  • 내장 카메라 앞에 작은 거울을 설치해 화면 전체를 비스듬히 내려다보는 시야 확보
  • 카메라 영상에서 손가락 움직임을 인식해 터치 이벤트로 변환

하드웨어 구성

• 필요한 재료는 소형 거울, 종이 접시, 문 경첩, 글루건 등 단순한 부품
  • 거울을 적절한 각도로 고정해 카메라가 화면 전체를 볼 수 있도록 구성
  • 칼과 글루건만으로 몇 분 안에 조립 가능한 형태

손가락 감지 알고리듬

• 입력 영상에서 손가락과 반사상을 찾아 터치/호버 지점 계산

  • 피부색 필터링 및 이진화 → 외곽선 검출 → 두 개의 주요 외곽선 선택

    • 두 외곽선이 수평 방향으로 겹치고, 작은 외곽선이 위쪽에 위치해야 함
    • 두 외곽선의 상단과 하단을 연결한 선의 중점을 터치/호버 지점으로 설정
    • 두 외곽선 간의 수직 거리로 터치와 호버를 구분
    • 결과 영상에서는 손가락과 반사선이 녹색, 경계 상자가 빨강, 터치 지점이 자홍색으로 표시됨

매핑 및 보정

• 웹캠 좌표를 화면 좌표로 변환하기 위해 호모그래피(homography) 계산
  • 사용자가 화면의 특정 지점을 터치하며 보정(calibration) 수행
  • 수집된 좌표 쌍을 기반으로 RANSAC 알고리듬으로 투영 행렬 추정
  • 보정 후 화면 위에 빨간 선으로 투영 행렬 시각화, 추정된 터치 지점은 파란 점으로 표시

응용

• 프로토타입은 호버와 터치를 마우스 이벤트로 변환해 기존 앱을 즉시 터치 대응 가능하게 함
  • 자체 앱 개발 시에는 호버 높이 등 세부 터치 데이터도 직접 활용 가능

결론 및 개선 가능성

• Project Sistine은 1달러 하드웨어로 노트북을 터치스크린화한 실험적 구현
  • 480p 내장 카메라에서도 작동하며, 고해상도 카메라나 곡면 거울을 사용하면 전체 화면 인식 가능
  • 저비용으로 실용적인 터치스크린 시스템으로 발전할 가능성 존재

소스 코드

• Sistine 프로토타입은 MIT 라이선스 오픈소스로 공개
  • GitHub 저장소: bijection/sistine