정상적인 소프트웨어에서는 맞지만 인공지능에서는 틀린 믿음들

• 많은 사람들이 정상 소프트웨어와 인공지능의 차이를 잘못 이해함
• 일반 소프트웨어에 적용되는 버그 수정 및 관리 개념이 AI에는 적용되지 않음
• AI의 문제는 주로 훈련 데이터에서 비롯되며, 원인을 식별하거나 고치기 매우 어려움
• AI는 같은 입력에도 매우 다양한 반응을 보일 수 있어 예측이 힘듦
• AI 시스템은 명확한 명세를 준수한다는 보장이 없으며 숨겨진 위험 가능성도 존재함

일반 소프트웨어에 대한 지식의 한계

• 많은 대중과 관리자들은 컴퓨터 소프트웨어의 위험에 대해 "문제 있는 코드(버그)는 수정할 수 있다"는 확신을 가짐
• 오랜 기간 소프트웨어 업계는 코드 버그가 현실에 해를 끼칠 수 있다는 사실을 성공적으로 각인시켰음
• 일반 소프트웨어에서는 버그가 존재하지만, 복잡하더라도 수정이 가능한 영역임
• 그러나 이러한 접근 방식과 사고방식은 AI에는 적용되지 않음, 그로 인해 혼란과 오해가 발생함

전문가와 비전문가 간의 인식 차이

• 정상 소프트웨어와 AI 소프트웨어는 동작 원리와 문제 발생 방식이 본질적으로 다름
• 전문가 집단은 이 간극을 너무 당연하게 여겨 설명하지 않고, 초보자들은 스스로 그 차이를 파악하지 못함
• 양측 모두 상대방과의 소통에 어려움을 느끼게 됨

AI에 잘못 적용되는 일반 소프트웨어의 믿음들

1. 소프트웨어 취약점은 코드의 실수에서 발생함

• 일반 소프트웨어의 버그는 주로 코드 작성 실수에서 비롯됨
• 하지만 AI의 경우, 취약점이나 예측 불가능성은 거의 대부분 훈련 데이터에서 비롯됨
• 예를 들어, FineWeb 데이터셋처럼 수십억 단어의 데이터를 모두 사람이 파악하는 것은 불가능함
• AI가 학습하는 데이터의 방대함으로 인해 무엇을 학습했는지 완전히 이해하기 어렵고, 위험 요소 파악이 거의 불가함

2. 코드를 분석해서 버그를 찾을 수 있음

• 전통적 소프트웨어는 코드를 분석해 논리적으로 버그 원인을 추적 가능함
• AI의 문제는 훈련 데이터의 복합적 영향으로 발생해, 문제 원인을 데이터에서 찾기 현실적으로 불가능함
• 연구자들은 보통 AI 재훈련이나 데이터 추가로 문제를 약화시키려 시도하지만, 논리적 추적으로 직접 원인을 밝히기는 어려움
• AI의 버그 원인은 심지어 개발자 자신도 정확히 모름

3. 버그를 고치면 다시는 나타나지 않음

• 소프트웨어는 발견된 버그를 수정하면, 기존 버그가 정확히 같은 형태로 재현되지 않음
• 하지만 AI는 "버그"를 고친 후에도 테스트되지 않은 입력에서 똑같은 문제 행동이 다시 나타날 수 있음
• AI의 비정상 동작을 완전히 제거했다고 확신할 수 없음

4. 동일 입력에 항상 동일한 결과가 나옴

• 일반 소프트웨어는 동일한 입력에 항상 동일한 출력을 반환함
• AI 역시 기술적으로 같지만, 극히 작은 입력 변화(문장 부호 등)에도 결과가 완전히 달라질 수 있음
• 실제로 다양한 대형 AI 기업들은 동일 프롬프트에도 약간씩 다른 출력을 하도록 설계해, 덜 기계적으로 보이게 함

5. 명확한 요구사항을 주면 해당 요구를 충족할 수 있음

• 일반 소프트웨어는 명확한 명세와 요구를 설정하면 이를 만족하는 방법이 있음
• 하지만 AI는 설계자가 원하는 전반적 행동을 명확히 통제하거나 보장할 수 없음
• 제한된 범위(예: 영어로 말하기, 코드 작성 등) 내에서는 어느 정도 명시적 통제가 가능하지만, 모든 행동(예: 범죄 조장 불허 등)은 보장할 방법이 없음
• AI 서비스 출시 후 개발자조차 알지 못한 숨겨진 능력이나 위험이 우연히 발견되기도 함
• AI 안전성의 완전한 보장 및 예측은 불가능함

앞으로 나아갈 방향

• 잘못 일반화된 소프트웨어 지식이 AI에 대한 신뢰와 위험 평가를 왜곡함
• AI의 동작 원리와 한계, 그리고 일반 소프트웨어와의 차이를 동료들과 널리 공유하는 것이 중요함
• 잘 알려져 있지 않은 AI 특유의 구조적 차이를 설명하고, 단순한 "버그 패치" 접근이 통하지 않음을 전달해야 함

전문가와 초보자 간의 이해 격차

• 만약 이 글을 통해 AI와 일반 소프트웨어의 근본적 차이를 처음 알게 됐다면, 지인과 함깨 내용을 공유하길 바람
• 이미 이 차이를 알고 있었다면, 일반인이나 비전문가와 한 번 이야기를 나눠보는 것이 좋음
• 실제로 이 둘이 본질적으로 다르다는 사실을 아는 사람이 많지 않음

참고 및 추가 읽을거리

• 전문가-초보자 간 간극, 시스템적 편향에 대한 추가 글도 존재함
• 일부 내용은 동료들의 피드백을 받아 작성됨