우리 직장의 LLM 집단 망상

• 재정난으로 채용·보너스·업무 필수 자원이 줄어든 직장에서 LLM 도입에는 컨설턴트, 워크숍, ChatGPT와 Copilot 라이선스 예산이 투입됨
• 전사 회의에서 여러 팀이 LLM 프로젝트 결과를 공유했지만, 지금까지 실제로 성공한 사례가 하나도 없었음
• 프롬프트 엔지니어링, custom GPT, 사전 문서와 템플릿도 해당 업무 분야에서 효과적이고 재현 가능한 결과를 만들지 못함
• 일반 활용 사례로 봇에게 기분을 묻기, 식당 메뉴를 업로드해 수요일 점심을 묻기, 의심 메일을 저장해 ChatGPT에 올리기 같은 방식이 등장함
• AI 도입 속도는 리더십이 원하면 조직 변화가 빠르게 가능하다는 점을 드러냈고, 기존 장애물이 필연적이라는 믿음을 깨며 직원 신뢰를 훼손함

재정난과 AI 예산의 대비

• 직장은 자금난을 겪고 있으며, 공개 채용 자리는 채워지지 않고 사라지는 상황임
• 우수한 업무에 대한 직원 보너스는 긴박한 재정 상황 때문에 2년 전 영구적으로 취소됨
• 필요한 자원이 사라질 때는 “처리할 방법을 찾아라”는 메시지가 전달됨
• 여러 부서는 완전히 과로 상태지만 지원 전망이 없고, 대신 업무에서 지름길을 찾으라는 요구를 받음
• 비용 절감을 위해 중요한 라이선스와 데이터베이스도 중단됨

AI 도입에만 열린 예산

• 이런 배경에서도 AI에 전면 투자하면 미래에 비용을 줄일 수 있다는 조언을 하는 컨설턴트를 고용할 예산은 존재함
• 직원 대상 LLM 워크숍과 세미나를 외부 업체에 수년간 맡길 예산도 존재함
• ChatGPT와 Copilot 라이선스를 모두 지불할 예산도 존재함
• 직원 보너스와 업무 지원에 쓰였어야 할 돈이 사기꾼, 보안 위험, 업무에 쓸 만한 것을 가르치지 못하는 워크숍, 테크노파시스트에게 가고 있다는 평가가 나옴

반복된 LLM 프로젝트 실험과 실패

• 전사 회의에서는 여러 그룹이 LLM 프로젝트를 등록하고 몇 달 동안 시험한 뒤 결과를 공유함
• 지금까지 참석한 모든 회의에서 실제로 작동한 프로젝트는 하나도 없었음
• 모든 프로젝트는 실행 불가능하거나, 시간을 절약하지 못하거나, 일을 더 복잡하게 만든다는 결론으로 끝남
• 수백 명의 직원, 여러 팀, AI에 열정적인 사람들, 다양한 프로젝트가 있었지만 단 하나의 성공도 없었음
• 프롬프트 엔지니어링, custom GPT, 스킬, 사전 준비 문서와 템플릿도 해당 비코딩 업무 분야에서 효과적이고 재현 가능한 결과를 만들지 못함
• 매번 결과가 지저분한 도박에 가까웠고, 작업을 세밀하게 조정하고 반복하고 결과를 검증하고 오류를 고치는 데 상당한 시간이 필요했음
• 문서를 고려하지 않거나, 환각이 발생하거나, 문서를 제대로 채우거나 수정하지 못하는 문제가 가장 큰 불만이었음
• Enterprise 라이선스에서도 제한이 너무 컸음

전사 일반 활용 사례의 문제

• 특정 프로젝트와 무관하게 ChatGPT를 업무일에 어떻게 쓸 수 있는지 보여주는 전사 회의도 열림
• 한 사례는 봇에게 오늘 기분이 어떤지 물을 수 있다는 것이었고, 농담이나 풍자가 아니라 진지한 활용처럼 다뤄짐
• 수천 단위 구독료를 들여 직원이 봇과 무의미한 대화를 하게 하자는 제안은 5년 전이나 다른 맥락에서는 비웃음을 샀을 것이라는 판단이 제기됨
• 또 다른 사례는 인트라넷에서 1페이지짜리 식당 메뉴 Excel 파일을 내려받아 ChatGPT에 업로드한 뒤 수요일 점심 메뉴를 묻는 방식이었음
• 봇의 답변은 전체 메뉴표를 직접 읽는 것보다 길었고, 다운로드·업로드·프롬프트 작성은 표를 직접 보는 것보다 오래 걸림
• 메뉴표는 한눈에 수요일 점심을 확인할 수 있어 봇이 필요하지 않음
• IT 책임자가 제시한 일반 사례는 스팸 메일, 피싱 시도, 의심스러운 첨부파일 여부가 헷갈릴 때 파일을 데스크톱에 저장하고 ChatGPT에 업로드해 묻는 방식이었음
• 기술에 덜 익숙한 직원이 수상한 파일을 업무용 노트북에 저장하게 하는 방식은 받아들이기 어려운 위험으로 다뤄짐

과대평가, 업무 왜곡, 신뢰 붕괴

• AI는 사람들이 자신의 시도를 더 똑똑하고 정당한 것으로 느끼게 만들며, Dunning-Kruger 효과를 증폭하는 도구처럼 작동함
• 평범하고 가치 낮은 작업을 더 나은 다른 방식으로 처리할 수 있는데도, 사용자는 중요하고 혁신적인 일을 하는 것처럼 느낄 수 있음
• 이 기술을 옹호하는 사람들은 거대한 혁명의 일부가 된 듯 느끼고, 비판자들이 나중에 침묵하거나 사과할 날을 상상함
• 유능하고 책임 있는 사람들이 갑자기 AI 기업의 영업사원처럼 변해, 유용하지도 제대로 작동하지도 않는 활용 사례를 만들어내는 모습이 발생함
• 이 직장에는 AI가 해결할 구체적 문제가 없고, 적어도 직원의 90%는 Copilot 등이 제공하는 기능으로 이익을 얻을 업무가 없음
• 그럼에도 매번 더 나쁜 시도를 반복하고, 없는 문제를 만들어 토큰을 태우며 구독을 정당화하려 함
• 일상 업무는 LLM을 훈련하고, 설득하고, 결과물을 뒤지는 과정 때문에 뒤처짐
• 직장 안에서는 어떤 사용이든 사용이라는 이유만으로 좋게 받아들여지고, 탐색과 놀이로 포장됨
• 이런 태도는 시간 낭비, 비용 손실, 각 사용의 영향, 도구 뒤의 강력한 기관을 축소함

빠른 도입이 드러낸 조직의 실제 역량

• 평소에는 어떤 일에도 예산이 없지만, 초기 비용이 큰 불안정한 기술은 즉시 통과됨
• 새로운 기술은 보통 공공 부문을 비껴가지만, 이 기술은 모든 관심을 받음
• 조직 변화나 새 아이디어 구현에는 보통 수년이나 10년이 걸리지만, AI 인프라와 조직적 여력은 눈 깜짝할 사이 마련됨
• 리더십이 원하기만 하면 조직이 얼마나 쉽게 실행할 수 있는지 드러났고, 느림과 불가능이 기본값이 아니라 의도와 설계의 결과임이 드러남
• 이는 직원에게 신뢰를 완전히 무너뜨리는 순간이 됨
• 기관의 존경받던 선배들이 “진보”의 이름으로 자신을 망신시키는 경험을 어떻게 넘길 수 있는지가 문제로 남음
• AI라는 실망스러운 결과를 위해 모든 문과 지갑이 열렸고, 조직 내 장애물이 본질적이고 피할 수 없는 것이라는 믿음이 흔들림
• 몇 달 동안 이 판단을 두고 자신만 이상한 사람처럼 느끼게 되는 문화가 생김
• 이런 경험은 잊을 수 없고, “두 번째 Covid”로 남음
• 일부 직장과 삶에서는 이런 일이 없을 수 있고, AI를 신중하게 쓰고 좋은 해결책을 만드는 유능한 사람들도 존재함
• AI 사용이 의미 있고 좋은 결과를 내는 산업에서 일하는 사람들도 있지만, 위와 같은 장소와 상황도 실제로 존재하므로 그 경험을 부정하지 말아야 함