LLM은 예외 상황을 치명적으로 두려워함

• 최근 대형 언어 모델(LLM) 들이 예외 상황에 대해 비정상적으로 대응하는 사례가 관찰됨
• LLM들은 알고리듬 설계 시 종종 예외 처리를 피하거나 무시하는 경향을 보임
• 이러한 경향은 개발자가 LLM 기반 도구를 사용할 때 예기치 못한 문제 발생 가능성을 높임
• 예외 상황을 적극적으로 다루는 전통적 소프트웨어 공학과 차이를 보임
• LLM 활용 시 예외 처리 전략 보완 필요성 부각됨

LLM과 예외 상황

• 최근 LLM이 알고리듬 설계 또는 코드 생성 과정에서 예외 상황을 맞이할 때, 복잡하거나 예외적인 입력값에 대해 불안정하게 반응하거나 적절한 예외 처리를 회피하는 특징이 드러남
• 이는 LLM이 정상 흐름이나 표준적인 규칙만을 학습하는 데 치중하며, 코드에서 발생할 수 있는 오류, 예외 상황, 혹은 비일상적인 입력값에 대해 다루는 데 약점을 보유함을 의미함

개발과정의 영향

• LLM 기반 개발 과정에서는 예외 처리에 대한 설계가 미흡하게 반영되는 경향이 자주 나타남
• 결과적으로 개발자는 생성된 코드가 예외 상황에서 오동작하거나, 오류 원인을 예측하기 어려운 문제를 경험함

전통적 소프트웨어 공학과의 차이

• 기존 소프트웨어 개발에서는 예외 처리와 예외 발생에 대한 시나리오를 분석하고 명확히 관리하는 정책이 중요 요소로 작용함
• 하지만 LLM이 산출한 결과물에서는 이러한 예외 처리 전략이 빠지거나 약하게 구현되는 경향이 있음

개선 필요성 및 시사점

• LLM을 활용하는 개발자는 예외 처리 부족에 주목해, 별도의 검증 및 보완 전략을 마련해야 함
• LLM의 예외 상황 회피 현상은 향후 더 견고한 AI 기반 소프트웨어 개발을 위한 과제로 부상함