AI 얼굴인식 오류로 무고한 여성이 수개월간 구금됨

Hacker News 의견들

• 기사 원문 (archive.ph) 링크를 공유함

• 법원 문서에 따르면, 경찰이 AI가 제시한 얼굴 인식 결과를 인간이 직접 확인하고도 잘못된 체포를 이어갔음
  AI는 단지 ‘가능한 일치’를 표시했을 뿐인데, 인간 수사관이 이를 확정적 증거처럼 받아들인 것이 문제임
  결국 5개월 동안 인터뷰조차 없이 구금된 건 형사사법 시스템의 태만 때문임

  • 현실적으로는 이제 “컴퓨터가 맞다고 했다”가 “AI가 맞다고 했다”로 바뀐 것뿐임
    사람들은 기계에 권위와 판단력을 과도하게 위임하고, 실수에 대한 책임을 회피하려 함
  • 문제는 단순히 AI가 아니라, AI와 결합된 경찰 권력임
    얼굴 인식, 차량 번호판 인식 등 감시 기술이 오용되며, 피해자는 인생이 망가져도 책임지는 사람은 없음
  • 결국 인간이 결함 있는 AI를 맹신하면서 사회가 붕괴하는 모습임
    대부분의 사람은 AI와 실제 지능을 구분하지 못하고, “컴퓨터가 그렇게 말했다”는 이유로 비상식적인 결정을 내림
  • 비슷한 사례로, 단순한 약병을 마약으로 오인해 체포된 사건이 있었음
    관련 기사에서 확인 가능함
  • 수백만 장의 사진을 스캔할 때 오탐률이 높아질 수밖에 없기 때문에, 잘못된 체포 확률이 상당히 큼

• 이건 명백히 Fargo 경찰과 정부 기관을 상대로 한 소송감임
  영상 속 여성은 명백히 더 젊고, 여러 정황상 동일 인물이 아님
  최소 수백만 달러의 배상을 받아야 함

  • 하지만 공무원 면책특권(qualified immunity) 때문에 현실적으로는 어려움이 많음
  • 미 연방보안관(US Marshals)은 단순히 영장을 집행했을 뿐이라 책임이 없을 수도 있음
  • 결국 이런 배상금은 시민 세금으로 충당된다는 점도 씁쓸함
  • “감옥에 있는 동안 집, 차, 심지어 반려견까지 잃었다”는 점이 특히 충격적임
    누가 그 개를 데려갔는지 궁금함
  • 설령 쌍둥이처럼 닮았더라도, 6개월 구금은 말이 안 됨

• 기사에 따르면, 얼굴 인식 결과는 AI 오류이자 인간의 총체적 실패임
  경찰, 검사, 판사, 보안관 모두 책임이 있음
  얼굴 인식만으로 영장을 발부하는 건 절대 안 됨

  • 여러 주체가 동시에 잘못했음을 잊지 말아야 함
    a) 경찰의 도구 오용과 과실,
    b) 사법부의 감독 부재,
    c) AI 제공 기업의 예상 가능한 오용 방치
    이런 실패에는 직위 상실과 제도적 책임이 뒤따라야 함
  • 미국 인구 3억 명 중 닮은 사람은 많음
    AI의 신비한 능력을 맹신하고 피의자 인권을 무시한 결과임
  • AI는 주체가 아님, 책임은 오직 인간에게 있음
  • 실제로 소프트웨어는 단순히 패턴 필터링 도구로 작동했음
    ‘일치 가능성’을 제시했을 뿐인데, 인간이 그걸 확정적 증거로 오인함

• 이 사건은 영국 우체국 스캔들을 떠올리게 함

  • 당시 청문회를 유튜브로 지켜봤는데, 오만과 무능이 충격적이었음
  • BAFTA 수상 미니시리즈 Mr Bates vs The Post Office도 추천함
  • 그 사건을 다시 떠올리니 분노가 치밀어 오름
  • 그래도 Fargo 경찰서장은 아직 명예직을 받은 건 아니니 다행임

• The Civil Rights Lawyer의 영상에서도 비슷한 사례가 다뤄짐
  카지노의 AI가 잘못된 사람을 지목했는데, 경찰이 아무 검증 없이 체포함
  심지어 무죄가 밝혀진 뒤에도 검사는 불법침입 혐의를 계속 유지함

  • 유튜브 영상 링크도 함께 공유함
    세상이 좁다는 말처럼, 아는 사람의 아는 사람이 바로 그 사건 당사자였음

• 얼굴 인식 사진을 보니, 닮은 사람을 일주일에도 여러 명은 볼 수 있을 정도임

• “내 고향이 Hacker News에 올라왔네!” 하며 반가웠지만, 내용 보고 바로 불길한 예감이 들었음
  경찰서장이 오늘 사임했다는데, 아마 이 사건과 관련 있을 듯함

  • 우리 동네도 전국 뉴스에 나올 때는 항상 이런 사건사고 때문임
  • 경찰서장 사임 소식의 출처를 묻는 사람도 있었음

• 사람들은 “AI가 아니라 인간이 잘못했다”고 하지만, 그건 오히려 AI 기업의 마케팅 전략에 놀아나는 것임
  경찰, 정치인, 시스템 운영자 모두 면책 구조 속에 있어서 책임을 물을 수 없음
  결국 남는 건 도구와 그 제작자뿐임
  “AI가 아니라 인간이 문제다”라는 말은 오히려 기업의 책임 회피를 돕는 셈임
  진짜 책임을 묻고 싶다면, 자본과 기술 공급자에게 책임을 물어야 함

  • 이에 전적으로 동의함
    이런 결과는 예상 가능한 귀결이었고, 미국 경찰에 얼굴 인식 AI를 판매한 순간부터 예견된 일이었음