LLM 시대의 글쓰기

19 hours ago 2

최근 LLM을 이용한 글쓰기가 늘어나면서, 자연스럽지 않은 글쓰기 패턴이 눈에 띄게 많아짐
빈약한 요약 문장, 과도한 불릿 포인트, 단조로운 문장 리듬 등은 LLM 글쓰기의 대표적 문제점임
정보 밀도가 낮거나, 모호한 표현이 자주 등장해 실질적 인사이트가 부족해지는 경향이 있음
반면, 의도적 반복, 명확한 표지 구문, 평행 구조 등은 LLM 스타일로 오해받지만, 실제로는 효과적인 글쓰기 도구임
저자는 LLM을 활용해 아웃라인 설계와 초안 생성, 부분별 리라이트에 도움을 받으면서도, 최종 판단과 깊이 있는 내용 구성은 인간의 몫이라고 강조함

Common Patterns of Bad Writing I See from LLM Tools

최근 몇 년 동안 여러 기술 논문과 블로그 글을 작성하고 리뷰하면서, LLM 기반 글에서 항상 어딘가 미묘하게 "어색하고 덜 매력적"인 느낌을 자주 받음
동시에, 초안 작성, 복잡한 자료 요약, 흐트러진 생각 정리에는 LLM 활용이 큰 도움을 주는 것도 경험함
이 글에서는 LLM이 많이 생성하는 나쁜 글쓰기 패턴과, 흔히 “LLM 스타일”로 오해받지만 사실은 괜찮은 글쓰기 습관, 그리고 필자가 실제로 사용하는 작성 및 프롬프트 규칙을 공유함

Empty “summary” sentences that pretend to conclude a thought

문단 마지막에 “By following these steps, we achieve better performance.”, “By internalizing these principles, you can cut through the noise.”와 같이 결론처럼 보이지만 실질적으로 아무 의미 없는 요약 문장이 자주 등장함
- “이 과정을 따르면 더 나은 성능을 얻을 수 있음”
- “이 원칙을 내재화하면 혼란을 헤치고 나아갈 수 있음”
이런 문장은 독자에게 새로운 통찰이나 고민거리를 제공하지 못함
필자 역시 LLM에게 이런 실질적 메시지가 담긴 문장을 쓰게 만드는 확실한 방법을 찾지 못함

Overuse of bullet points and outlines

LLM은 불릿 포인트(리스트)와 아웃라인을 과도하게 남용하는 경향이 있음
항목들이 평행하고 독립적일 때는 리스트가 유용하지만, 아이디어가 연결되거나 맥락이 중요한 부분에서는 문단이 더 적합함

Flat sentence rhythm

모든 문장이 비슷한 길이와 구조로 반복되면 글이 지루해지고, 읽는 사람이 따라가기 어려워짐
문장 길이와 리듬을 다양하게 조절해야 강조, 주의 환기, 속도 조절이 가능해짐
- Bad example:
  "We recently launched a conversational AI feature that lets users ask questions in plain English and get responses based on their past activity and current session. The system searches a database of help articles, ranks the most relevant ones using a custom scoring function, and passes the top result into a language model to generate the final answer. We spent weeks optimizing each step to keep latency under 300 milliseconds, including caching, pruning irrelevant articles, and tuning prompt templates."
  "우리는 최근 사용자가 평문으로 질문하고 이전 활동과 현재 세션을 기반으로 답변을 받을 수 있는 대화형 AI 기능을 출시함. 이 시스템은 도움말 아티클 데이터베이스를 검색하고, 커스텀 점수 알고리듬으로 가장 관련성 높은 항목을 선정한 뒤, 그 결과를 언어 모델에 전달하여 최종 답변을 생성함. 각 단계의 지연 시간을 300밀리초 이내로 유지하기 위해 캐싱, 불필요 아티클 제거, 프롬프트 템플릿 최적화 등에 몇 주를 투자함"
- Good example:
  "We just launched a new conversational AI feature. It answers user questions in plain language, using context from the current session. The system searches help articles, scores them with a custom ranking function, feeds the top result into a fine-tuned language model, and runs in under 300ms using caching, pruning, and prompt tuning techniques."
  "우리는 새로운 대화형 AI 기능을 출시함. 이 기능은 현재 세션의 맥락을 이용해 사용자의 질문에 평문으로 답변함. 시스템은 도움말 아티클을 검색하고, 커스텀 점수화로 최상위 결과를 선정하여, 미세 조정된 언어 모델에 입력함. 캐싱, 데이터 정제, 프롬프트 튜닝을 적용해 300밀리초 이내로 동작함"

Not the right subject

주어 선정이 부적절할 때 문장 핵심이 흐려짐
- Bad example:
  "Readers are better guided when the subject matches the main idea of the sentence."
  "주어가 문장의 핵심 아이디어와 맞을 때 독자가 더 잘 안내받을 수 있음"
- Good example:
  "Choosing the right subject keeps the writing clear and focused."
  "올바른 주어 선택이 글의 명확성과 집중도를 높여줌"
올바른 주어 선택이 글의 일관성, 집중력에 중요함

Low information density

아래는 Gemini 2.5 Pro로부터 받은 LLM 생성 글의 예시임:
"As someone who writes, reviews, and deconstructs complex information for a living, I’ve developed a strong allergy to bad writing. And lately, a lot of that bad writing has a specific, synthetic flavor—the unmistakable scent of an LLM. This post is a guide to navigating the new world of writing, with or without LLM assistance. First, I’ll cover the true pitfalls of LLM-generated text—the red flags that make it feel sterile and unconvincing."
"복잡한 정보를 다루고 글을 쓰고 리뷰하는 사람으로서, 나쁜 글쓰기에 민감해짐. 최근엔 그 나쁜 글이 점점 인공적이고 LLM 특유의 향을 띔. 이 글은 LLM이 있는 시대의 글쓰기를 다루는 가이드임. 먼저 LLM이 만드는 대표적인 문제점들을 살피고자 함."
문장 구조나 문법은 완벽하지만, 실질적 통찰이나 구체적 정보, 논지의 진행이 없음

Vagueness

LLM 글은 구체성 회피 경향이 강함
아이디어를 명확히 정의하지 않고, 증거 없는 주장을 하거나, 누구의 이야기인지 불분명하게 작성함
“Some experts say prompt engineering is becoming less important. The ability to simply prompt LLMs can have a major impact on productivity.”
“일부 전문가들은 프롬프트 엔지니어링의 중요성이 줄어든다고 말함. LLM에 단순히 프롬프트를 입력하는 능력이 생산성에 큰 영향을 줄 수 있음”
→ 누가, 어떤 맥락에서, 누구에게 영향을 주는지 등 구체적 근거와 대상이 부족함

Overuse of demonstrative pronouns

"this", "that", "these", "those" 등 지시대명사 남용이 많아짐
참조하는 명사가 명확하지 않으면 독자가 내용을 놓치기 쉬움
“This creates friction in production.”
“이로 인해 프로덕션 환경에서 마찰이 발생함”
여기서 "this/이"가 무엇을 가리키는지 명확하지 않음

Fluency without understanding

겉보기에 매끄럽지만 실제로 설명력이 부족한 문장이 자주 등장함
“LLMs use attention mechanisms to generate contextually appropriate responses.”
“LLM은 어텐션 메커니즘을 활용해 맥락에 맞는 응답을 생성함”
→ 독자가 attention이 뭔지 모르면 아무런 정보도 전달하지 못함
LLM은 기존에 없는 용어를 만들어내는 경우도 잦음
“We used GPT-4 for summarization, but it hallucinated details, so we added retrieval grounding.”
“우리는 요약에 GPT-4를 사용했으나, 사실을 잘못 생성해 retrieval grounding을 추가함”
→ “retrieval grounding”은 실제 존재하지 않는 용어임
LLM은 독자의 배경지식과 설명 필요성을 구분하지 못해 어려운 부분은 자주 넘어가버림

Writing Patterns People Flag as “LLM-Like,” But Are Actually Fine

사람들이 LLM 스타일이라고 지나치게 경계하지만, 실제로는 효과적이고 일반적인 글쓰기 패턴도 있음
중요한 것은 모델처럼 보이지 않는 글을 쓰는 것이 아니라, 명확함, 의도, 통제력을 가진 글을 쓰는 것임

Intentional repetition

반복은 복잡한 아이디어를 명확히 하거나 강조할 때 효과적임
"Vector databases store embeddings, or mathematical representations that capture semantic meaning in hundreds of dimensions. In other words, vector databases help find results that are “close” in meaning, not just exact text matches."
“벡터 데이터베이스는 임베딩, 즉 수백 차원에서 의미를 포착하는 수학적 표현을 저장함. 다시 말해, 벡터 데이터베이스는 텍스트가 정확히 일치하지 않아도 ‘의미상 가까운’ 결과를 찾는 데 도움을 줌”

Signposting phrases

"essentially", "in short", "the point is..." 같은 표지 구문은 뒤에 실제 정보가 따라온다면 유용함
예시:
"Essentially, instead of classifying the document as a whole, we classify each section independently."
“본질적으로, 문서 전체를 분류하는 대신 각 섹션을 개별적으로 분류함”

Parallel structure

평행 구조는 아이디어를 조직적으로 정리하고, 문장 흐름을 매끄럽게 만듦
"The system scales across inputs, stays responsive under load, and returns consistent results even with noisy prompts."
“이 시스템은 다양한 입력을 확장 처리하고, 부하 상황에서도 반응성을 유지하며, 프롬프트가 혼란스러워도 일관된 결과를 반환함”

Section headings that echo a structure

“Why X fails”, “What to do instead”, “How to know if it worked”처럼 예측 가능한 구조의 섹션 헤딩은 내용이 명확하다면 충분히 효과적임

Declarative openings

단호한 선언형 문장으로 섹션을 시작하는 것은, 뒷받침되는 증거나 설명이 있다면 오히려 글의 초점을 강화함
예시:
"LLM evaluations are hard to get right. Many rely on user-defined gold labels or vague accuracy metrics, which do not work for subjective or multi-step tasks."
“LLM 평가를 제대로 하는 것은 어려움. 많은 평가는 사용자 정의 기준이나 모호한 정확도 지표에 의존하는데, 이는 주관적이거나 복잡한 작업에는 적합하지 않음”

Em dashes

엠 대시(—) 는 문장 내에서 부연설명이나 리듬 변화, 빠른 전환 등에 유용함
적절히 사용하면 자연스러운 구어체 흐름과 강조에 도움이 됨

How I Write with LLMs

필자는 글쓰기에서 흐름(모멘텀)을 유지하는 것을 가장 중요하게 생각함
실제 논문이나 블로그 글 작업 과정은 대개 아래와 같음
- 아웃라인 계획(종이에 쓰거나 머릿속에 그리기)
- 초안 생성
- 작성한 내용 읽기 및 비판적 검토
- 수정
이 과정은 문장 단위, 섹션 단위 등 다양한 범위에서 반복될 수 있음
사람마다 계획 단계, 초안 작성, 수정 단계 중 막히는 부분이 다름
- 필자는 아웃라인은 빨리 만들지만, 표현 방식(phrasing)에서 자주 막힘
- LLM을 막힌 부분을 넘어가거나 초안 구성을 빠르게 하기 위한 도구로 적극 활용함

Narrate the story to the model

초안 시작 시, 동료에게 구조를 설명하듯 러프하게 이야기를 적어 LLM에 붙여넣고, 상세한 아웃라인 생성을 요청함
구조가 명확해질 때까지 이 작업을 반복함

Write the paragraph myself, even if it’s rough

아웃라인이 완성되면, 각 문단은 직접 작성하려고 노력함(거칠어도 상관없음)
문장을 끝까지 쓰기 어려울 때에는 “finish it” 식으로 LLM에 요청해서 여러 완성본 중 최적의 것을 선택, 필요하면 약간 수정해 활용함
“In the last couple of years, I’ve written and reviewed several technical papers and blog posts. Something always feels slightly off, enough to make the writing quietly uninviting. At the same time, I feel like I get tremendous value from using LLMs to write…” “finish it”
“지난 몇 년간 여러 기술 논문과 블로그 글을 썼음. 항상 어딘가 미묘하게 어색해서 글이 조용히 매력을 잃는 경우가 있었음. 동시에 LLM을 활용해 글을 쓰는 데서 엄청난 가치를 얻는다고 느꼈음…” “finish it”
→ 모델이 여러 제안을 내고, 그 중 가장 나은 것을 골라 약간 수정해 넘김

Use scoped rewrite strategies during revision

문단이나 문장이 어색할 때는 “make it better” 대신 구체적인 요청이나 패턴(수사적 구조 등) 을 LLM에 전달함
예시 전략:
- 주어와 동사를 최대한 가깝게, 문장 초반에 배치
- SWBST(누가, 무엇을 원했으나, 어떤 장애물 때문에, 어떻게 대응했고, 결과는 어땠는가) 구조 활용
  - 예시:
    "We used GPT-4 for summarization. We wanted fluent answers, but it hallucinated facts. So we added a retrieval step. Then we re-ranked outputs based on citation accuracy."
    “우리는 요약에 GPT-4를 사용했음. 유창한 답변을 원했지만, 사실을 잘못 생성함. 그래서 retrieval 단계를 추가함. 그 후 인용 정확도 기준으로 결과를 재정렬함”
  - SWBST 구조는 기술 글에서도 동기, 문제, 대응, 결과를 간결하게 전달하는 데 효과적임