1부: 데이터도 정답도 없다: 하이퍼커넥트가 LLM을 길들이는 법

이 글은 2부작 중 첫 번째 글입니다. 이번 글에서는 2025년 초 수행되었던 Tinder의 AI-enabled Discovery 프로젝트를 예시로, 정답 데이터가 없는 open-ended generation 문제에서 “좋은 설명이란 무엇인가?”를 먼저 정의하고, 그것을 사람이 일관되게 평가할 수 있는 정책으로 정리해 나간 과정을 소개합니다. 2부에서는 이렇게 만든 정책을 바탕으로 LLM-as-a-Judge를 설계한 과정을 다룹니다. 들어가며 “얘 진짜 성격 좋아, 너랑 취미도 잘 맞고. 한번 만나봐.” 누군가에게 소개팅을 주선하거나 받아본 경험, 다들 한 번쯤 있으시죠? 연애 상대를 러닝 크루, 클라이밍 동호회, 와인 모임 등에서 찾는 것보다, 주변 사람이 소개해주는 상대가 더 잘 맞는 경우가 많습니다. 그 이유 중 하나는 노련한 소개팅 주선자의 설명 덕분이죠. 노련한 주선자는 다짜고짜 사진부터 들이밀며 소개하지 않습니다. 이 사람이 어떤 사람인지, 왜 당신과 잘 어울릴 것 같은지를 먼저 설명합니다. 그리고 마지막에 사진을 보여주죠. 빌드업이 지나치면 오히려 불안감이 커지기도 하지만, 많은 경우 이런 설명이 호감도 형성에 큰 영향을 줍니다. 사진만 봤을 땐 그냥 시큰둥했을 상대에게도, 설명 덕분에 매력적으로 느껴지기도 하니까요. 심리학에서는 이런 현상을 초두효과(Primacy effect)라고 부릅니다. 사람은 처음 접한 정보에 더 큰 영향을 받는 경향이 있으며, 이후의 정보보다 먼저 주어진 정보가 인상 형성에 더 큰 역할을 합니다. 예를 들어, “이 사람 성격 정말 좋아, 너랑 잘 맞을 거야”라는 말을 먼저 들으면, 그 다음에 보는 사진이나 행동도 그 설명을 떠올리며 더 긍정적으로 해석하게 되는 것이죠. 그렇다면 이런 인지적 특성을 데이팅 앱에도 적용해볼 수 있지 않을까요? 사진을 먼저 보여주는 대신, 이 상대와 내가 왜 잘 맞을지를 먼저 설명해주는 거죠. 마치 소개팅 주선자처럼요. 유저가 “아, 이 사람이랑 나 잘 맞을지도?”라는 생각을 먼저 하게 만들고, 그 다음 사진을 보여주는 방식입니다. 이런 “소개팅 주선자”를 데이팅앱에 넣으려면 어떻게 해야 될까요? 이 기능을 간단히 설명 기능(Explanation Module)이라고 불러볼게요. 이 기능을 쉽게 구현하는 방법으로 LLM 활용을 떠올려볼 수 있습니다. 그렇다면 여러분의 팀은 어떤 방식으로 이 모듈을 만들 것 같으신가요? 예를 들어 이런 조건이 있다...