모든 문장이 비슷한 길이와 구조로 반복되면 글이 지루해지고, 읽는 사람이 따라가기 어려워짐 문장 길이와 리듬을 다양하게 조절해야 강조, 주의 환기, 속도 조절이 가능해짐 Bad example: Good example: "As someone who writes, reviews, and deconstructs complex information for a living, I’ve developed a strong allergy to bad writing. And lately, a lot of that bad writing has a specific, synthetic flavor—the unmistakable scent of an LLM. This post is a guide to navigating the new world of writing, with or without LLM assistance. First, I’ll cover the true pitfalls of LLM-generated text—the red flags that make it feel sterile and unconvincing."
Common Patterns of Bad Writing I See from LLM Tools
Empty “summary” sentences that pretend to conclude a thought
Overuse of bullet points and outlines
Flat sentence rhythm
"We recently launched a conversational AI feature that lets users ask questions in plain English and get responses based on their past activity and current session. The system searches a database of help articles, ranks the most relevant ones using a custom scoring function, and passes the top result into a language model to generate the final answer. We spent weeks optimizing each step to keep latency under 300 milliseconds, including caching, pruning irrelevant articles, and tuning prompt templates."
"우리는 최근 사용자가 평문으로 질문하고 이전 활동과 현재 세션을 기반으로 답변을 받을 수 있는 대화형 AI 기능을 출시함. 이 시스템은 도움말 아티클 데이터베이스를 검색하고, 커스텀 점수 알고리듬으로 가장 관련성 높은 항목을 선정한 뒤, 그 결과를 언어 모델에 전달하여 최종 답변을 생성함. 각 단계의 지연 시간을 300밀리초 이내로 유지하기 위해 캐싱, 불필요 아티클 제거, 프롬프트 템플릿 최적화 등에 몇 주를 투자함"
"We just launched a new conversational AI feature. It answers user questions in plain language, using context from the current session. The system searches help articles, scores them with a custom ranking function, feeds the top result into a fine-tuned language model, and runs in under 300ms using caching, pruning, and prompt tuning techniques."
"우리는 새로운 대화형 AI 기능을 출시함. 이 기능은 현재 세션의 맥락을 이용해 사용자의 질문에 평문으로 답변함. 시스템은 도움말 아티클을 검색하고, 커스텀 점수화로 최상위 결과를 선정하여, 미세 조정된 언어 모델에 입력함. 캐싱, 데이터 정제, 프롬프트 튜닝을 적용해 300밀리초 이내로 동작함"Not the right subject
"Readers are better guided when the subject matches the main idea of the sentence."
"주어가 문장의 핵심 아이디어와 맞을 때 독자가 더 잘 안내받을 수 있음"
"Choosing the right subject keeps the writing clear and focused."
"올바른 주어 선택이 글의 명확성과 집중도를 높여줌"Low information density
"복잡한 정보를 다루고 글을 쓰고 리뷰하는 사람으로서, 나쁜 글쓰기에 민감해짐. 최근엔 그 나쁜 글이 점점 인공적이고 LLM 특유의 향을 띔. 이 글은 LLM이 있는 시대의 글쓰기를 다루는 가이드임. 먼저 LLM이 만드는 대표적인 문제점들을 살피고자 함."Vagueness
“Some experts say prompt engineering is becoming less important. The ability to simply prompt LLMs can have a major impact on productivity.”
“일부 전문가들은 프롬프트 엔지니어링의 중요성이 줄어든다고 말함. LLM에 단순히 프롬프트를 입력하는 능력이 생산성에 큰 영향을 줄 수 있음”
→ 누가, 어떤 맥락에서, 누구에게 영향을 주는지 등 구체적 근거와 대상이 부족함Overuse of demonstrative pronouns
“This creates friction in production.”
“이로 인해 프로덕션 환경에서 마찰이 발생함”
여기서 "this/이"가 무엇을 가리키는지 명확하지 않음Fluency without understanding
“LLMs use attention mechanisms to generate contextually appropriate responses.”
“LLM은 어텐션 메커니즘을 활용해 맥락에 맞는 응답을 생성함”
→ 독자가 attention이 뭔지 모르면 아무런 정보도 전달하지 못함
“We used GPT-4 for summarization, but it hallucinated details, so we added retrieval grounding.”
“우리는 요약에 GPT-4를 사용했으나, 사실을 잘못 생성해 retrieval grounding을 추가함”
→ “retrieval grounding”은 실제 존재하지 않는 용어임Writing Patterns People Flag as “LLM-Like,” But Are Actually Fine
Intentional repetition
"Vector databases store embeddings, or mathematical representations that capture semantic meaning in hundreds of dimensions. In other words, vector databases help find results that are “close” in meaning, not just exact text matches."
“벡터 데이터베이스는 임베딩, 즉 수백 차원에서 의미를 포착하는 수학적 표현을 저장함. 다시 말해, 벡터 데이터베이스는 텍스트가 정확히 일치하지 않아도 ‘의미상 가까운’ 결과를 찾는 데 도움을 줌”Signposting phrases
예시:
"Essentially, instead of classifying the document as a whole, we classify each section independently."
“본질적으로, 문서 전체를 분류하는 대신 각 섹션을 개별적으로 분류함”Parallel structure
"The system scales across inputs, stays responsive under load, and returns consistent results even with noisy prompts."
“이 시스템은 다양한 입력을 확장 처리하고, 부하 상황에서도 반응성을 유지하며, 프롬프트가 혼란스러워도 일관된 결과를 반환함”Section headings that echo a structure
Declarative openings
예시:
"LLM evaluations are hard to get right. Many rely on user-defined gold labels or vague accuracy metrics, which do not work for subjective or multi-step tasks."
“LLM 평가를 제대로 하는 것은 어려움. 많은 평가는 사용자 정의 기준이나 모호한 정확도 지표에 의존하는데, 이는 주관적이거나 복잡한 작업에는 적합하지 않음”Em dashes
How I Write with LLMs
Narrate the story to the model
Write the paragraph myself, even if it’s rough
“In the last couple of years, I’ve written and reviewed several technical papers and blog posts. Something always feels slightly off, enough to make the writing quietly uninviting. At the same time, I feel like I get tremendous value from using LLMs to write…” “finish it”
“지난 몇 년간 여러 기술 논문과 블로그 글을 썼음. 항상 어딘가 미묘하게 어색해서 글이 조용히 매력을 잃는 경우가 있었음. 동시에 LLM을 활용해 글을 쓰는 데서 엄청난 가치를 얻는다고 느꼈음…” “finish it”
→ 모델이 여러 제안을 내고, 그 중 가장 나은 것을 골라 약간 수정해 넘김Use scoped rewrite strategies during revision
"We used GPT-4 for summarization. We wanted fluent answers, but it hallucinated facts. So we added a retrieval step. Then we re-ranked outputs based on citation accuracy."
“우리는 요약에 GPT-4를 사용했음. 유창한 답변을 원했지만, 사실을 잘못 생성함. 그래서 retrieval 단계를 추가함. 그 후 인용 정확도 기준으로 결과를 재정렬함”Parting Thoughts