Gemini와 삽질로 개발자의 뒤죽박죽 개발자의 뒤죽박죽 업무 메모, AI로 심폐소생 시키기

개발자나 기획자라면 누구나 자신만의 방식으로 업무를 기록하고 추적합니다. 노션, 에버노트, 심지어 그냥 메모장(.txt)까지, 사용하는 툴은 각양각색이지만 많은 분들이 비슷한 방식으로 메모를 남깁니다. 바로 로그(log) 형식으로요. 오늘 있었던 일, 새로 결정된 사항들을 기존 메모 밑에 쭉 이어서 쓰는 거죠.

물론 이상적으로는 모든 정보가 완벽하게 정리되고 구조화된 ‘현행화 문서’가 항상 존재하면 좋겠습니다만 매일 쏟아지는 변경 사항에 대해서 완벽한 문서로 현행화는 솔직히 어렵습니다.

또한 로그 형식의 메모는 특정 정보를 찾기도, 전체적인 그림을 보기도 어렵습니다.

그러던 중, 최근에 LLM(large language model) 이라는 강력한 ‘게임 체인저’가 등장했고 이걸로 뭔가 해결할 수 있지 않을까? 하는 생각이 들었습니다. 회사에서는 Gemini 를 사용 할 수 있어서, 이걸 활용해 개인 과제의 ‘업무 진행 파악’ 실험을 해보기로 하였습니다. 오늘은 그 삽질과 경험담을 공유해볼까 합니다.

로그는 쌓여가고, 맥락은 흐려지고

로그 형식 메모의 가장 큰 문제는 바로 맥락 파악의 어려움입니다. 특정 내용을 찾거나 전체적인 흐름을 이해하려면, 마치 고대 두루마리를 펼치듯 메모장을 처음부터 끝까지 스크롤하며 읽어야 하는 경우가 허다하죠. ‘아, 그때 그 결정이 어디 있었더라?’ 하면서 한참을 헤매기도 하고요. ‘정리된 문서가 있으면 좋겠다…’라는 생각은 늘 하지만, 현실의 벽 앞에서 좌절하기 일쑤였습니다. 마치 밑 빠진 독에 물 붓기처럼, 기록은 하는데 활용은 어려운 상황이랄까요?

무한의 두루마리 저주
(출처: ChatGPT를 통해서 직접 생성)

분명 어딘가에 적어 놓은 것 같은데, 그게 언제였는지, 정확히 뭐라고 했는지 기억나지 않으면? 네, 맞습니다. 하염없이 스크롤을 내리거나 ⌘+F(Ctrl+F) 신공에 의지해야 하죠. 그러다 보면 시간은 훌쩍 가버리고, ‘내가 지금 뭘 찾고 있었더라?’ 하는 현타가 오기도 합니다.

물론 ‘정리된 현행화 문서’가 있다면 이런 문제가 해결될 겁니다. 하지만 매일매일 문서를 업데이트하는 건 상당한 노력이 필요하고, 솔직히 말해 글쓰기 자체가 부담스러울 때도 많습니다. 기획 문서를 멋지게 쓰는 기획자분들과 달리, 개발자에게 ‘문서 작업’은 종종 우선순위에서 밀리거나, 해도 해도 어딘가 어설픈 결과물이 나오기 십상이니까요. (저만 그런가요? 😅)

결국 정보는 여기저기 흩어져 있고(메모장, Jira, Wiki, Slack…), 필요할 때 종합적인 내용을 파악하려면 상당한 시간과 정신적 에너지를 소모해야 했습니다. 이 비효율을 어떻게든 개선하고 싶다는 갈증이 점점 커져만 갔습니다.

AI 솔루션 탐색 및 선택: 회사 찬스, Gemini!

회사에서 사주는 Gemini
(출처: Gemini (language model), Wikipedia)

그래서 눈을 돌린 것이 바로 LLM, 그중에서도 회사에서 지원해주는 Gemini였습니다. ‘회사 찬스’는 못 참죠! LLM의 가장 큰 장점 중 하나는 방대한 텍스트 속에서 맥락을 이해하고, 정보를 요약하고, 심지어 새로운 형식으로 가공하는 능력입니다. 제가 겪고 있던 문제, 즉 흩어져 있는 로그성 정보들을 맥락적으로 이해하고 필요에 맞게 정리하는 데 딱 맞는 도구가 아닐까 하는 기대감이 생겼습니다. ‘오, 이걸로 내 메모들을 좀 똑똑하게 만들 수 있겠는데?’ 싶었죠.

다행히 회사에서 사용하는 Gemini 환경에는 프롬프트 입력창 아래에 ‘Delivery Hero SE 채팅은 Gemini 모델을 개선하는 데 사용되지 않습니다.’ 같은 안내 문구가 명시되어 있어서, 업무 관련 내용을 입력하는 데 대한 보안 부담을 조금이나마 덜 수 있었습니다. (물론 그렇다고 민감한 기밀 정보를 마구 입력해도 된다는 뜻은 절대 아니지만요! 항상 주의는 필요합니다.)

실험 설계: 두가지 상황에서 Gemini 와 대화하기

아이디어는 간단했습니다. Gemini 대화방을 정보의 중앙 저장소로 활용해보자는 것이었죠. 과제와 관련된 모든 정보를 한곳에 모으고, 필요할 때 Gemini에게 물어보면 똑똑하게 답해주지 않을까? 하는 기대였습니다.

그래서 특정 과제(프로젝트)를 위한 전용 Gemini 대화방을 만들고 실험을 시작했습니다. 먼저 과제의 시작을 알리는 기획서 내용을 복사해서 붙여넣고, Jira 티켓 정보는 XML로 내보내서 텍스트로 입력하는 식으로 초기 데이터를 구축했습니다. 그 후로는 기존에 메모장에 적던 것처럼 매일 발생하는 업무 변경 사항이나 결정된 내용들을 Gemini 대화방에 계속 추가했죠.

끝없는 내보내기

여기서 한 걸음 더 나아가, 이 방식을 두 가지 다른 규모의 컨텍스트에 적용하며 그 효과와 한계를 비교해 보기로 했습니다.

• 시나리오 1: 단일 과제(Project) 수준 – 현재 진행 중인 특정 프로젝트와 관련된 정보(기획, 개발 로그, 회의록, 관련 문서 내용 등)만 집중적으로 입력하고 관리했습니다. 상대적으로 범위가 명확하고 컨텍스트 규모가 관리 가능한 수준이라고 생각했습니다.
• 시나리오 2: 조직 도메인(Domain) 수준 – 제가 속한 조직이 담당하는 전체 서비스 도메인에 대한 방대한 지식(서비스 아키텍처, 주요 기능 명세, 과거 히스토리, 담당자 정보 등)을 포괄적으로 입력하고 관리하려는 시도였습니다. 훨씬 방대하고 복잡한 컨텍스트를 다룹니다.

Gemini와의 즐거운(?) 대화

물론 두 시나리오 모두 데이터를 모으는 과정은 녹록지 않았습니다. 관련 Wiki 내용은 PDF/DOC으로 다운로드해서 업로드하거나, 표나 그림은 스크린 캡처를 떠서 이미지로 넣고, Slack 스레드나 Google Docs 내용 중 필요한 부분을 ‘복붙’하는 등 상당한 ‘수작업’ 이 동반되었습니다. (이 이야기는 뒤에서 다시 하겠습니다.)

실험 결과 및 한계: 과제는 OK, 도메인은 ‘가끔’ 거짓말? 그리고 주의점들

두 가지 시나리오에 대한 Gemini 활용 결과는 꽤 흥미롭게 나타났습니다.

먼저, 단일 과제 수준에서는 Gemini가 기대 이상으로 똑똑하게 작동했습니다! 제가 특히 유용하다고 느꼈던 점들은 다음과 같습니다.

한눈에 보는 과제 현황 파악
가장 좋았던 점 중 하나는 현재 과제 상황을 훨씬 쉽게 파악할 수 있게 된 것입니다. "지금 이 과제 어떤 상태야?" 라고 묻거나, "이번 주에 진행된 내용 요약해줘" 라고 요청하면 주간 보고 작성에 필요한 내용을 빠르게 정리해주었죠. "어제까지 결정된 주요 사항 알려줘" 처럼 일자별 진행 상황도 쉽게 확인할 수 있었습니다.

과제 현황 파악

문서 초안 작성 지원
또 다른 강력한 기능은 문서 작성 지원이었습니다. 특히 저희 팀에서 사용하는 ADR(architecture decision record) 양식을 알려주고 "이 과제 관련해서 ADR 초안 좀 써줘" 라고 요청하면, 입력된 정보를 바탕으로 논의 배경, 결정 사항 등을 포함한 제법 그럴듯한 초안을 뚝딱 만들어주어 문서 작성 시간을 크게 절약할 수 있었습니다.

ADR 문서 작성

Jira 티켓 내용 풍성하게 채우기
과제를 진행하다 보면 Jira 티켓은 단순히 진행 상태만 업데이트하고 설명(description)은 간단하게 적거나 비워두는 경우가 많잖아요? 저도 주로 상태 추적용으로만 썼었는데요. Gemini에게 관련 논의 내용이나 작업 결과 등을 주고 "이 내용으로 Jira 티켓 설명 좀 짜임새 있게 작성해줘" 라고 부탁했더니, 훨씬 풍성하고 구조화된 내용으로 티켓을 채울 수 있어서 정말 좋았습니다. 덕분에 나중에 다른 동료가 티켓을 보더라도 맥락을 이해하기 훨씬 쉬워졌을 거라 생각합니다.

지라 내용 정리

잠재적 문제점 미리 찾기
뿐만 아니라, 대화 내용을 분석해서 "현재 당장 해결해야 할 문제가 무엇인지" 물어보면, 논의되었던 이슈나 블로커(blocker)를 찾아주기도 해서 잠재적인 위험을 미리 인지하는 데도 도움이 되었습니다.

이처럼 과제 관리 측면에서는 꽤 만족스러운 결과를 얻을 수 있었습니다.

하지만, 조직 전체 도메인 지식을 다루려 했던 두 번째 시나리오에서는 다른 결과가 나타났습니다. 방대하고 복잡한 컨텍스트를 제대로 처리하지 못하는 듯, 명백한 환각(Hallucination) 현상을 발견하게 된 것이죠. 예를 들어, 각 서비스 담당자를 물었을 때 제가 입력한 어떤 문서나 대화에도 없었던 가상의 인물 이름을 실존 인물인 것처럼 태연하게 알려주는 경우가 있었습니다.

환각 현상의 가능성은 이미 알고 있었지만, AI가 이렇게 그럴듯하게 거짓말(?)을 할 수 있다는 것을 직접 확인하고 나니 AI를 활용한 업무 방식에 대한 신뢰도가 솔직히 조금 하락했습니다. 그리고 ‘아, AI의 답변은 절대로 그대로 믿어서는 안 되겠구나’ 하는 중요한 깨달음을 얻었죠. 특히 업무 관련 정보는 정확성이 생명인데, 이렇게 환각 현상이 발생한다면 중요한 의사결정 등에 활용하기는 매우 어렵다는 것을요.

Gemini 프롬프트 창에도 써있는 실수 가능성

결국 이 두 가지 실험을 통해 얻은 교훈이자 AI 활용의 주의점은 명확했습니다.

• LLM은 컨텍스트의 길이와 복잡성에 민감하다: 단일 과제처럼 범위가 비교적 명확하고 관리 가능한 컨텍스트에서는 잘 작동했지만, 도메인 전체처럼 방대하고 복잡한 컨텍스트에서는 성능이 저하되거나 환각을 일으킬 수 있습니다.
• AI 답변은 반드시 검증해야 한다: 어떤 경우든, 특히 중요한 정보에 대해서는 AI의 답변을 맹신하지 말고 반드시 사람이 교차 검증(cross-check) 해야 합니다. Gemini 화면의 ‘실수를 할 수 있으니 다시 한번 확인하세요‘ 라는 안내 문구는 그냥 있는 게 아니었습니다.

결론: 로그 기록부터 AI 요약봇, 그리고 자동화의 문턱까지

근데 자동화는??
(출처: 생성형AI를 사용하여 생성)

돌이켜보면, 저의 여정은 이랬습니다. 개인적인 업무 기록 방식(로그)의 한계를 느끼고 → Gemini라는 LLM을 활용해 정보를 중앙화하는 두 가지 다른 규모의 실험을 시도했고 (단일 과제는 성공적, 전체 도메인은 한계 봉착) → 그 과정에서 AI의 유용성과 함께 환각이라는 명확한 한계점, 그리고 답변 검증의 중요성을 확인했습니다.

하지만 이 모든 과정에서 가장 큰 현실적인 병목 지점이자 지속가능성을 가로막는 허들은 바로 ‘수작업’ 데이터 입력 과정이었습니다. Gemini가 똑똑해질수록 더 많은 정보를 먹여줘야 했는데, Jira에서 XML 내보내고, Wiki 다운받거나 캡처하고, Slack이랑 Google Docs 뒤져가며 복붙하는 과정은 생각보다 훨씬 번거롭고 귀찮았죠. (‘이유식을 일일이 떠먹여줘야 하는 기분’이랄까요? 팔이… 아니 손가락이 좀 아파왔습니다. 😅) 결국 ‘수동 먹이 주기’ 방식으로는 진정한 생산성 향상을 기대하기 어렵다는 명확한 한계에 부딪혔습니다. AI는 똑똑했지만, 결국 그 먹이를 주는 건 ‘나’였으니까요.

그래서 자연스럽게 다음 스텝으로 ‘자동화’를 고민하게 되었습니다. 이 번거로운 수동 입력 문제를 어떻게 해결할 수 있을까? 어떻게 하면 Jira, Wiki, Slack, Google Docs 같은 다양한 소스의 정보들을 자동으로 LLM에게 흘려보낼 수 있을까? 그러던 중 MCP(Model Context Protocol) 라는 것을 알게 되었습니다. 이런 프로토콜이나 관련 도구를 활용하면, 데이터 연동/추출 파이프라인을 구축할 수 있지 않을까 하는 희망을 품게 되었죠.

이번 실험을 통해 AI가 분명 업무 효율화에 큰 도움을 줄 수 있다는 가능성은 확인했습니다. 하지만 그 잠재력을 제대로 터뜨리기 위해서는, LLM 답변에 대한 비판적인 검증 자세를 견지하는 동시에, 결국 ‘데이터 연동과 자동화’ 라는 기술적인 숙제를 풀어야 한다는 결론에 이르렀습니다. 혹시 이 글을 읽는 분들 중에서도 LLM을 활용한 업무 개선을 고민하고 계시다면, 단순히 LLM의 정보 요약이나 생성 능력만 보지 마시고, 어떻게 데이터를 효율적으로 연동하고 자동화할 수 있을지도 꼭 함께 고민해보시길 권합니다. 그게 아마 다음 단계의 핵심이 될 테니까요.

과연 MCP를 이용한 자동화는 성공할 수 있을 것인가? 그 본격적인 씨름(?)은 또 다른 삽질과 성공의 이야기가 될 것 같습니다. (언제가 될지는 저도 잘…) ✨

이러한 고민과 노력은 비단 저 혼자만의 것은 아닐 겁니다. B마트, 배민스토어, 전국별미, 대용량특가, 배민상회를 포함한 저희 배민 커머스 역시, AI를 활용한 업무 생산성 향상을 통해 궁극적으로 고객에게 더 나은 커머스 경험을 제공하기 위해 오늘도 다양한 시도와 고민을 이어가고 있습니다.

저의 짧은 실험기가 비슷한 고민을 하시는 분들께 조금이나마 도움이 되었기를 바랍니다!

P.S. 여기까지 읽으셨다면 비밀 하나 알려드릴게요. 이 글 역시 저의 ‘뒤죽박죽 생각’을 Gemini가 ‘심폐소생’시켜준 결과물이랍니다. 🤖