[AI & LAW] AI가 지어낸 오류, 미검증 책임 따른다

정종오 기자 입력 2026.08.24 08:00 할루시네이션에 ‘검증했음을 보여주는 문서’ 중요해 [아이뉴스24 정종오 기자] 2023년 뉴욕남부연방법원에 제출된 준비서면에는 실존하지 않는 판례 6건이 인용돼 있었다. 원고 대리인이 ChatGPT로 작성한 결과였다. 그는 AI에게 “이 판례들이 실재하는가”라고 되물었고 “실재하며 Westlaw와 Lexis에서 확인할 수 있다”는 답을 받자 데이터베이스를 직접 열어보지 않았다.법원은 5000달러의 제재금을 부과했다(Mata v. Avianca). 2025년 10월에는 딜로이트 호주법인이 정부 용역 보고서에 실존하지 않는 논문과 판결문을 인용한 사실이 드러나 참고문헌 141개 중 14개를 삭제한 수정본을 다시 제출하고 용역비 일부를 환불했다.할루시네이션(사실이 아니거나 존재하지 않는 정보를 마치 진실인 것처럼 AI가 그럴듯하게 생성해 내는 오류)이 위험한 이유는 오류가 ‘틀린 모양’이 아니라 ‘맞는 모양’으로 오기 때문이다. 없는 판례가 실제와 같은 사건번호와 판시 형식을 갖추고, 없는 논문이 실존 교수의 이름을 달고 나타난다. 눈으로 걸러 지지 않는 오류는 절차로만 걸러진다.정호선 변호사. [사진=법무법인 화우]법원행정처는 지난 3월 31일 ‘AI 활용 허위 주장·증거 제출 대응 TF’의 결과로 소송비용 부담, 서면 진술 제한, 판결문 적시, 변협 징계 의뢰 방안을 제시했다. 국내외 대응의 방향은 같다. AI 활용 자체를 금지하지는 않되 미검증에는 책임을 묻는다. 기업은 세 가지 질문에 답할 수 있어야 한다.첫째, 무엇을 어떤 원천과 대조해 검증하는가.법령·판례·규격·수치는 국가법령정보센터, 판례 검색, 표준 문서, 감사받은 재무자료 등 공식 원천에서 존재와 내용을 직접 확인해야 한다. Mata 사건의 교훈은 명확하다. AI에게 다시 물어보는 것은 검증이 아니다. 다만 모든 문서에 같은 강도를 적용할 수는 없다.외부 제출물과 의사결정 근거, 권리관계 서류일수록 전수 대조로 강도를 높이고 내부 참고용은 표본 검증으로 완화하는 것이 현실적이다. 한 가지 덧붙이자면, 검증은 그 분야를 아는 사람만 할 수 있다. AI가 초안을 대신 쓰는 시대일수록 검증 가능한 전문성을 조직에 유지하는 일이 리스크 관리의 문제가 된다.둘째, 사람은 어느 길목에 서 있는가.‘사람의 개입’을 모든 업무에 사람을 남기는 것으로 이해하면 절차만 무거워진다. 취지는 오류가 손해로 전환되는 길목에 ...