Show HN: macOS의 모든 사진과 동영상의 모든 프레임을 위한 AI 검색

2 hours ago 2

SCM(Screen Memories) 은 macOS 폴더의 사진과 동영상을 자연어로 검색하는 로컬 우선 앱으로, 계정이나 업로드 없이 Mac에서 추론을 실행함 Files, Scenes, OCR, Dialogue, LLMs의 다섯 검색 모드를 제공하며, 시각적 의미 검색과 화면 속 문자 검색, 정확한 대사 검색을 구분함 장면 단위 검색은 동영상을 구간으로 나누고 대표 프레임을 임베딩해 해당 시점으로 바로 이동하며, 검색 밀도에 따라 처리 시간과 디스크 사용량이 달라짐 감시 폴더 자동 가져오기와 콘텐츠 해시 기반 중복 제거를 지원하고, 비전 모델을 바꾸면 백그라운드에서 라이브러리를 다시 임베딩함 선택적으로 활성화하는 로컬 LLM 채팅은 이미 추출한 대사, OCR 텍스트, 파일명을 근거로 클릭 가능한 인용을 붙여 답변하며, 관련 근거가 없으면 모델을 실행하지 않음 검색 방식과 결과 해석 SCM(Screen Memories) 은 기억하는 장면을 일상 언어로 입력해 사진과 동영상을 찾는 앱임 미디어는 기기 밖으로 나가지 않으며, 모델 가중치를 한 번 내려받은 뒤에는 오프라인으로 동작함 Files는 사진이나 동영상 전체를 의미로 검색함 입력 즉시 파일명 키워드로 먼저 검색한 뒤, 비전 모델이 이미지 임베딩과의 코사인 유사도로 순위를 매김 조건부 구문/파일명 가산점, 모델별로 보정한 최소 점수 기준, 유사 중복 결과 다양성 필터를 적용함 각 타일에 Visual match, Filename match 등의 일치 이유를 표시하고, 툴팁에서 항목별 점수를 확인할 수 있음 CJK 검색어는 겹치는 2글자 단위로 검색하며, 台北車站은 台北, 車站에도 일치함 Scenes는 모든 동영상의 장면 구간을 평가해 정확한 샷을 찾음 결과에 장면 포스터와 타임코드를 표시하고, 열면 해당 시점으로 이동함 무관한 결과는 차단해 no scene match를 반환하며, 동영상 하나당 최대 3개 장면만 표시함 OCR은 이미지에서 인식한 텍스트에 검색어 토큰이 문자 그대로 포함된 비율로 검색함 파일명과 비전 모델을 사용하지 않아 AI 엔진이 준비 중이거나 작동하지 않아도 검색할 수 있음 일치한 단어는 타일과 라이트박스에서 황색 상자로 강조함 Dialogue는 Whisper 전사문을 임베딩이나 임계값 없이 문자 그대로 검색하며, AI 엔진이 꺼져 있어도 동작함 Exact line: 하나의 발화 안에서 연속된 구문이 일치함 Exact words: 하나의 발화 ...

Read Entire Article