일본어 상품 검색 정확도 높이기: Elasticsearch + Kuromoji에서 OpenSearch + Sudachi로

들어가며 안녕하세요. LINE Plus에서 통합 커머스 개발을 맡고 있는 김진성입니다. 2025년 초, 통합 커머스 프로젝트가 시작되었습니다. 서비스가 안정되어 가던 중, 일본 담당자로부터 다양한 불편 사항이 보고되기 시작했습니다. 불편 사항은 관리 툴의 사용성과 개선점 등 여러 항목에 걸쳐 있었는데, 그중 몇 가지 항목에서 공통적인 문제가 언급되었습니다. '상품 관리 도구에서 특정 단어로 상품명을 검색하면 결과가 나오지 않는다'는 내용이었습니다. 사실 이 문제는 새로운 것이 아니었습니다. 통합 커머스 프로젝트 이전부터 Elasticsearch에서 사용하는 일본어 형태소 분석기인 Kuromoji 환경에서 검색이 잘 되지 않는 단어가 발견될 때마다 사용자 사전에 해당 단어를 추가하는 방식으로 대응해 왔습니다. 사용자 사전에 등록된 단어는 올바르게 분석되기 때문에 단기적으로는 문제가 해결됩니다. 그러나 프로젝트 시작 이후 보고되는 검색어의 범위가 점점 넓어지면서, 이 방식의 한계가 분명하게 드러나기 시작했습니다. 신조어, 복합어, 모델명 변형까지 모두 수동으로 사전에 등록하는 것은 근본적인 해결책이 될 수 없었습니다. 문제의 원인을 분석해 보니, 크게 두 가지 요인이 복합적으로 작용하고 있었습니다. 첫 번째는 운영 방식의 문제였습니다. 기존 Kuromoji analyzer는 공식 문서의 기본 설정(default)을 그대로 사용하고 있었고, 상품명 검색 특성에 맞춘 별도의 튜닝 없이 운영되고 있었습니다. Kuromoji는 형태소 분석을 기반으로 복합어를 분해하는 것이 기본 동작인데, 이러한 특성이 상품명 검색에서는 오히려 불리하게 작용하는 경우가 있었습니다. 하나의 의미 단위로 취급되어야 할 상품명이 여러 토큰으로 분해되면서, 사용자의 검색 의도와 다른 결과가 매칭되거나 검색 정확도가 떨어지는 문제가 발생했습니다. 두 번째는 사전의 한계였습니다. Kuromoji에서 널리 사용되는 IPADIC 사전은 2.7.0-20070801 버전을 기준으로 하고 있어 비교적 오래된 데이터를 기반으로 하고 있습니다. 이로 인해 최신 IT 용어, 신제품명, 서비스명, 고유명사 등에 대한 커버리지가 제한적이며, 사전에 포함되지 않은 단어는 예상과 다르게 분해되거나 하나의 의미 단위로 인식되지 못하는 문제가 발생했습니다. 사용자 사전을 통해 이를 보완할 수는 있었지만, 변화 속도가 빠른 상품 도메인에서는 이러한 방식이 지속 가능한 해결책이...