내 웹사이트가 Google 검색 색인에서 삭제됐다

• AI와 끊임없는 스크래핑을 이유로 개인 블로그의 검색 엔진 색인 제외를 추진했고, 마지막 설정 변경 후 최소 3개월이 지나 확인했을 때 Google 색인에서 삭제된 상태였음
• 처음에는 robots.txt에서 모든 봇의 접근을 차단했지만, 몇 주 동안 기다리며 확인해도 색인 제외 효과가 없었음
• 이어 noindex, nofollow 메타 태그를 추가했지만, 이를 읽어야 할 봇까지 차단한 상태였음
• Googlebot의 접근을 허용해 색인 제외 지시를 읽을 수 있게 했으며, 다른 주요 봇에도 같은 방식을 적용함
• 공개 인터넷에 열어 둔 블로그의 스크래핑을 확실히 막을 수는 없지만, 일부 봇이라도 접근 제한 지시를 따르기를 기대한 조치였음

검색 색인 제외를 선택한 이유

• 올해 초, AI와 지속적인 스크래핑을 주된 이유로 블로그가 검색 엔진에 색인되지 않도록 하기로 결정함
• 공개 인터넷에 블로그를 열어 둔 이상 스크래핑을 실질적으로 막을 방법은 없지만, 일부 봇이라도 제한을 준수하기를 기대함

robots.txt 차단에서 Google 색인 삭제까지

• 처음에는 robots.txt에 User-agent: *와 Disallow: /를 설정해 모든 봇의 접근을 차단함
  • 몇 주 동안 기다리며 확인했지만 효과가 없어 <meta name="robots" content="noindex, nofollow" />를 추가함
• 검색 엔진이 사이트를 색인에서 삭제하려면 해당 봇이 메타 태그를 읽을 수 있도록 접근을 허용해야 한다는 점을 뒤늦게 알게 됨
  • Googlebot에는 Allow: /를 적용하고, 나머지 봇에는 Disallow: /를 유지함
  • 다른 주요 봇 여러 개에도 같은 방식을 적용했으며, 각 검색 엔진에서 색인이 삭제된 것을 확인할 때마다 해당 봇의 허용 항목을 robots.txt에서 제거함
• Google 색인 삭제를 위한 마지막 변경으로부터 최소 3개월이 지난 뒤 확인한 결과, 블로그가 Google 색인에서 삭제돼 있었음