[DBR 인사이트]생성형 AI, 한계 있지만 반복을 통해 극복 가능

1 month ago 7

미래형 창작 도구로 각광받는 달리(DALL-E)와 미드저니(Midjourney) 등 생성형 인공지능(AI)이 단 몇 초 만에 전문가 품의 이미지와 동영상을 제작하는 시대에 접어들었다. 하지만 기대에 미치지 못하는 결과물이 속출함에 따라, AI의 한계를 지적하는 목소리도 적지 않다. 사용자와 AI 간의 간극을 해소하고자 ‘프롬프티스트(Promptist)’라고 칭하는 연구자들이 프롬프트 최적화에 매진하고 있으나, 창작자들이 추구하는 다채로운 목표와 스타일을 전면적으로 충족시키기에는 여전히 제약이 드러난다.

이러한 한계의 원인은 무엇일까? 미국 조지아공대 연구진은 이 의문에 답하기 위해 미드저니 사용자 19명을 대상으로 인터뷰를 했다. 첫 단계에서는 참가자들에게 미드저니 사용 경험과 이를 통해 달성하려는 목표를 묻고, 두 번째 단계에서는 생성된 이미지를 검토하며 프롬프트 작성 과정, 결과 평가 방식, 수정 전략 및 직면한 문제점에 대해 심도 있게 논의했다. 연구진은 분석 결과, 사용자들이 반복적인 시행착오를 통해 프롬프트 작성 능력을 점진적으로 향상시키고 있음을 확인했다.

연구 결과에 따르면, 미드저니 사용자들이 겪는 프롬프트 여정은 크게 세 단계로 나뉜다. 첫째, 프롬프트 구조 설정 단계에서 사용자들은 자신의 목표와 작업 방식에 맞춰 설명문 형태의 유연한 구조를 선택하거나, 예술적 일관성을 위해 정형화된 템플릿을 도입하는 등 다양한 접근법을 채택한다.

둘째, 이미지 평가 단계에서는 제작된 이미지의 사실성, 색상, 구성, 심도 등 시각적 완성도를 기준으로 평가한다. 개방적 탐색을 선호하는 사용자들은 예상치 못한 결과도 긍정적으로 평가하는 반면에 명확한 목표를 추구하는 이들은 더욱 엄격한 기준을 적용한다.

셋째, 수정 단계에서는 평가 결과를 토대로 단어의 추가·생략, 순서 변경, 강조 등 여러 전략을 활용해 프롬프트를 보완한다. 예를 들어, 특정 시각적 요소가 부족할 때는 관련 단어를 추가해 표현을 강화하거나 불필요한 요소를 생략해 단순화하는 방법을 사용했다. 일부 사용자는 프롬프트 내 특정 요소의 가중치를 조정해 세밀한 제어를 시도했고, 초보자는 ‘재생성(re-rolling)’ 기능을 활용해 동일 프롬프트로 다양한 결과물을 탐색하는 등 만족할 만한 결과에 도달할 때까지 수정 과정을 반복했다.

연구진은 이 과정에서 나타난 문제점 역시 지적한다. 특정 장면이나 특징을 명확히 지시했음에도 불구하고 결과물에 반영되지 않아 좌절감을 느끼거나, 효과적인 프롬프트 작성 기법을 익히는 데 어려움을 겪는 사례가 빈번했다. 또한 방대한 정보와 이를 실제로 적용하는 과정에서의 부담이 사용자에겐 큰 도전 과제였다.

이 연구는 텍스트-이미지 AI 도구를 이용한 창작 과정이 단순한 입력과 출력의 문제가 아니라, 사용자들의 반복적인 평가와 정제 작업을 통해 점진적으로 발전하는 복합적 과정임을 보여준다. 더불어 프롬프트 작성 과정에서 발생하는 문제의 원인이 사용자와 AI 양측 모두에 있다고 주장한다. 연구진은 사용자가 AI 도구에 대해 충분히 이해하고 노하우를 축적한다면, 효과적인 프롬프트 설계와 전략을 통해 AI 기술의 한계를 보완하며 활용도를 극대화할 수 있다고 전망했다.

이러한 능력 개발을 위해서는 직간접적인 시행착오 경험이 필수적임을 강조한다. 프롬프트 작성 능력은 개인적 학습과 사회적 학습을 결합함으로써 향상될 수 있다. 연구 결과 사용자들은 시행착오를 거치며 프롬프트를 개선하는 한편 관련 커뮤니티 사례를 참고해 자신만의 스타일로 적용하는 경향을 보였다. 이는 미 버클리 캘리포니아대 장 라베 교수와 교육 이론가 에티엔 벵거가 주장한 ‘상황적 학습(situated learning)’ 이론처럼, 사회적 맥락 속에서 학습이 이뤄지는 과정을 반영하며 AI 창작도구 학습이 점차 체계화되고 있음을 시사한다. 이러한 과정은 전통 예술도구 학습과 유사한 양상으로 발전할 가능성을 내포한다.

마지막으로, 연구는 텍스트-이미지 AI 도구가 사용자들의 다양한 목적과 의도에 부합하도록 조정돼야 함을 강조한다. 사용자들은 때로는 개방적 탐색, 때로는 명확한 목표를 가지고 프롬프트를 작성하더라도, AI가 그 의도를 충분히 파악하지 못해 혼란을 겪는 사례가 존재한다. 이를 극복하기 위해서는 AI 도구가 사용자의 의도를 더욱 정밀하게 반영할 수 있도록 발전해야 한다. 결국 인간과 AI 모두 완벽하지 않으므로 최적의 결과를 도출하기 위해서는 양측의 지속적인 노력이 필수적이다.

※이 글은 동아비즈니스리뷰(DBR) 408호(1월 2호)에 실린 ‘AI 기술 한계일까, 사용자가 활용을 못하는 걸까’ 원고를 요약한 것입니다.