robots.txt에 대해 내가 틀렸던 점

• robots.txt 설정을 통해 웹사이트 크롤러 전체 차단 시도 후 예상치 못한 부작용 발생 경험
• LinkedIn 포스트 미리보기가 사라지고, 게시글 도달 범위도 감소 현상 확인
• 원인은 robots.txt가 LinkedInBot의 페이지 접근을 막아 메타 태그 수집을 방해했기 때문임
• Open Graph Protocol이 소셜 미디어에서 미리보기 생성 시 핵심 역할 수행함을 새롭게 인식
• robots.txt를 부분 허용 방식으로 수정하고 문제를 해결함, 향후 기능 변경 시 충분한 테스트 필요성 인지

서론: robots.txt 설정과 의도치 않은 문제 경험

• 최근 블로그에서 robots.txt 설정을 학습하면서 내 콘텐츠에 대한 데이터 권리 문제에 대해 생각함
• 웹사이트에 모든 크롤러를 차단하려고 robots.txt를 수정함
• 예상치 않게, 웹사이트에서 원치 않은 결과가 발생함

LinkedIn 포스트 미리보기 문제

• robots.txt를 바꾼 후, LinkedIn에 내 블로그 링크를 올리자 미리보기(썸네일, 요약문) 가 보이지 않음
• 이전까지는 정상적으로 미리보기가 제공되었으나, 변경 후에는 노출 및 반응이 급격히 감소함
• 처음에는 일시적 문제라 생각했으나 2주 이상 현상 지속됨
• LinkedIn Post Inspector로 분석 시, robots.txt가 LinkedInBot의 접근을 제한해서 메타 정보 수집이 불가한 것으로 판명됨
• 소셜 미디어 플랫폼에서 링크 미리보기 생성을 위해 페이지 요청 및 메타 태그 수집이 필수임

Open Graph Protocol 소개

• Open Graph Protocol(OGP) 은 Facebook이 만든 표준 프로토콜로, 웹페이지를 소셜 그래프 객체로 만들어 줌
• OGP는 최소한의 필수 메타 태그를 정의함
  • og:title: 게시글 제목
  • og:type: 객체 유형, 예시로 "video.movie"
  • og:image: 썸네일 이미지 URL
  • og:url: 해당 객체의 대표 URL
• 이 프로토콜 덕분에 다양한 소셜 플랫폼에서 콘텐츠가 효과적으로 요약되고 매력적으로 표시될 수 있음

robots.txt 부분적 허용으로 해결

• 문제 해결을 위해, robots.txt를 LinkedInBot만 허용하는 방식으로 수정함
• 만약 다른 소셜 플랫폼의 미리보기도 필요하다면, 각 봇을 별도로 허용해야 함
• 현재 적용 중인 설정 예시: User-agent: LinkedInBot Allow: / User-agent: * Disallow: /

회고 및 배운 점

• 모든 크롤러를 무조건 차단하면 콘텐츠 노출 및 프리젠테이션 문제가 발생할 수 있음
• 변경 효과에 대해 충분한 테스트 없이 조치한 것이 실수였음을 인지함
• 이번 경험으로 Open Graph Protocol, LinkedIn Post Inspector 등 유용한 도구와 웹 표준에 대해 더 많이 알게 되었음
• 기능 추가·변경 시, 영향 영역 전체에 대해 충분한 이해와 검증이 필요함
• 처음엔 OGP와 robots.txt 차단의 관계를 연결하지 못했으나, 경험을 통해 중요성 인식함