[이내찬교수의 광고로보는 통신역사]〈27〉인간을 뛰어넘는 챗GPT의 소통 원리

챗GPT는 미리 학습한 대규모 말뭉치 텍스트로 인간처럼 질문을 이해하고 답하는 대규모 언어 모델(LLM)로 불리는 알고리즘이다. 아는 것도 많고 논리 정연하며 말투는 정중하다. 사람으로 치면 인생 경험이 풍부한 예의 바른 중년이다. 가끔 없는 이야기를 그럴싸하게 꾸며대기에 되물으면 죄송하다고 사과한 후 말을 바꾸는 뻔뻔함조차 보인다.

챗GPT의 답변은 올바른 글·말이 갖추어야 할 속성에 따른다. 문장이 자연스럽게 흐르는 조리(條理), 통일된 스타일을 유지하는 일관성, 관련 정보에 초점을 맞추는 연관성에 따른다. 아침·밥·세수라는 단어만으로도 '아침에 일어나 세수하고 밥을 먹었다'라는 문맥으로 파악한다.

과거 자연어 처리(NLP) 알고리즘은 1950년대부터 문장을 문법에 따라 파악, 분리·조합하거나 단어 빈도를 측정하기도 했지만, 언어의 중의성(重義性)으로 문맥 파악에는 실패했다. 1980~1990년대에 등장한 새로운 알고리즘(RNN·LSTM 등)은 긴 문장 처리에 애를 먹었다.

이 같은 단점을 해결한 알고리즘이 챗GPT의 '트랜스포머'다. 챗GPT는 단어·개념을 벡터에 대응시켜 고차원 공간에 흩뿌린 말 구름(cloud word)을 가지고 있다. 연관성이 높은 단어 벡터는 서로 가까이 위치하며 각도가 작을수록 높은 확률로 관련된다. 이 같은 말 구름 기반으로 질문에 답한다는 것은 어찌 보면 무책임하기도 하고 두렵기조차 하다. 하지만 사람도 오랫동안의 경험·학습을 통해 형성된, 실체를 설명하기 어려운 자신만의 말 구름으로 소통하며 벡터 운운은 AI가 질의응답을 전산학적으로 조작하는데 필요한 것으로 이해하면 될지 싶다.

프랑스·수도·어디라는 질문을 쿼리에 입력하면, 사전을 찾는다면 색인·참고문헌과 구체 설명이 연동되는 것처럼, 문맥(벡터)을 찾아내는 '자체 주목(self-attention) 메커니즘'이 작동한다. 이는 다시 '전방 인공신경망(Feed-forward ANN)'에 투입되어 파리·보르도·니스와 같은 답변 후보지의 확률을 계산한 후 가장 확률이 높은 파리를 산출물로 내놓는다. 인공신경망은 인간이 오감으로 얻는 정보를 투입물로, 뇌를 구성하는 뉴런들이 의사소통하며 정보를 취사 선택하여 처리·판단해 산출물을 생성하는 기능을 모방하는 알고리즘이다.

질문에 대해 가장 확률이 높은 정답을 내놓는 성능 제고를 위해 사전에 미세 조정(fine-tuning) 과정을 거친다. 기하학적으로는 고차원 벡터 공간에서 특성을 잘 나타내도록 초평면의 방향과 위치를 조정하는 조작이다. 케이크 만들기로 비유하면, 스승이 맛보여 준 최고의 풍미·질감의 케이크(정답)를 재현하기 위해 재료(질문)의 비율을 조금씩 변경해보면서 최상의 레시피를 찾아내는 것과 비슷하다. 챗GPT의 답변이, 챗봇과 다르게 다양하게 변하는 것은 후보 답변의 확률을 조정한다든지 높은 확률의 후보군에서 선택하기 때문이다.

챗GPT는 NLP의 새로운 지평을 열었고 인간·AI 간 소통을 한층 자연스럽게 만들었다. 질문의 복잡한 문맥을 이해하고 적절한 답변을 생성하는 능력은 다양한 분야에서 혁신을 끌어낼 것이다. 그러나 어째 인간이 대단한 능력을 갖췄다는 믿음은, 물론 챗GPT는 인간 노력의 산출물이지만, 물리적인 원리로 인간을 넘어서는 수준으로 실현될 수 있다는 것은 자괴감을 가져오기도 한다. 마치 바둑 대가 이세돌이 알파고와의 대결 이후 은퇴했을 때의 심정과 같이.

이내찬 한성대 경제학과 교수 nclee@hansung.ac.kr