TwelveLabs Jockey로 강의 검수 파이프라인 만들기, 한 달 실측기

인프런 강의 18편(편당 5~25분) 제작에서 병목은 촬영이 아니라 검수였음. 딜리버리(말 끊김·톤 점프), 편집 요소(강조 표시와 발화 일치), 페이싱을 각각 봐야 해서 편집본 하나당 최소 2회 정주행, 전체로는 10시간 이상 더 큰 문제는 제작자가 자기 영상의 이음새 위치를 전부 안다는 것. 객관적인 "처음 보는 눈"이 구조적으로 불가능함 TwelveLabs 영상 이해 모델 기반 Jockey로 검수 파이프라인을 만들고 한 달간 운용하며 어디까지 믿을 수 있는지 실측함 결론: 방향 탐지는 놀랍도록 유효하고, 세부 판독은 반드시 사람이 확정해야 함 파이프라인 구조 원본 분석: 촬영 원본을 지식 저장소에 등록하고 딜리버리 품질·용어 갭·편집 개입 지점을 타임스탬프로 추출 편집 지시서 생성: 분석 결과를 구간 성격별 규칙으로 정규화(판단 발화는 보존, 확인 구간은 점프컷 등) 편집본 QA: 편집 완료본을 재등록해 출시 전 최종 검수 프롬프트에서 결정적이었던 건 페르소나와 금지어. "객관적·비판적 평가자", "칭찬보다 결함 발견이 목적", "확신 없는 판독은 판독 불확실로 표기". 이걸 빼면 영상 AI도 텍스트 LLM처럼 좋은 말부터 시작함 사건: 정반대 오판독 편집본 첫 QA에서, 넣은 적 없는 전사형 자막을 "확인된다"고 보고. 반대로 실제로 넣은 빨간 박스 9개는 "약하거나 확인되지 않음"으로 보고 양방향으로 뒤집힌 오판독이라 도구 신뢰도 자체를 의심해야 하는 상황 추적 결과 업로드 파일이 원본 5분 30초의 편집본이라기엔 1분 16초로 지나치게 짧았음. 익스포트가 잘린 상태에서 AI가 앞부분(박스 등장 전 구간)만 보고 전체를 판정했고, 화면 속 앱 UI 텍스트를 편집 자막으로 오인했다는 것이 유력 가설 디버깅: 정답을 숨긴 관찰 테스트 온전한 파일을 다시 올리되, 이번엔 평가가 아니라 관찰을 지시. "빨간 박스 보이냐"고 물으면 확증 편향이 생기므로 정답을 숨김 지시 요지: 화면에 실제로 보이는 것만 타임스탬프와 함께 서술 / 편집 자막과 앱 UI 텍스트를 구분 / 없으면 "없음"으로 명확히 / 확신 없으면 "판독 불확실" 결과는 빨간 박스 9개를 타임스탬프와 대상까지 전부 특정, 추가 자막은 "없음". 오판독은 도구의 항상적 결함이 아니라 손상된 입력과 평가형 프롬프트의 합작이었음 교훈 둘: 입력 무결성 체크(등록 영상 duration을 원본과 대조)를 파이프라인 첫 단계로 둘 것, 판독 신뢰도가 의심되면...