문제가 있으면 IP 레벨에서 차단하세요

• 최근 웹 트래픽 분석중에 Thinkbot이라는 웹봇이 가장 많은 트래픽을 발생시킨 것을 발견함
• 해당 봇은 robots.txt를 무시하며, 자기소개 문구도 단순히 “문제 있으면 IP 차단해라”라는 식으로 매우 불성실함
• 한 달 동안 74개의 서로 다른 IP를 사용했고, 이는 41개 네트워크 블록에 걸쳐 분산되어 있었음
• 조사 결과 이 모든 네트워크 블록은 Tencent 소유였으며, 이게 Great Firewall 비용 전가 가능성과 연결되는건지 의심이 생김
• 결국 약 47만 개 이상의 IP를 포함하는 방대한 차단 규칙을 추가했음

Thinkbot의 등장

• 웹 트래픽 분석 중 Thinkbot이라는 이름의 웹봇이 상위 점유율을 차지한 것을 발견함
• User-Agent 문자열은 다음과 같이 불성실했음

  “Mozilla/5.0 (compatible; Thinkbot/0.5.8; +In­_the­_test­_phase,­_if­_the­_Thinkbot­_brings­_you­_trouble,­_please­_block­_its_IP_address._Thank_you.)”.

  • “테스트 단계에서 문제가 되면 IP 차단해 주세요”라는 문구 외에 참조 URL조차 없음
• robots.txt 파일을 전혀 존중하지 않고 크롤링을 진행함
• 웹사이트 운영자로서 이를 차단하려 해도, 단일 IP가 아니라 74개의 IP 주소를 사용
• 이를 역추적해 ASN을 조회한 결과, 41개의 네트워크 블록에서 발생한 것임
• 이는 단순한 단일 IP 차단으로는 방어가 불가능함을 의미

Tencent 연관성

• 이 41개의 네트워크 블록은 모두 Tencent 소유였음
• 저자는 중국 정부가 이를 묵인하거나 장려할 수 있으며, 외부 세계에 Great Firewall 비용을 전가하려는 시도로 해석할 수 있다고 의심함
• 중국 내에서는 콘텐츠 수집이 허용되고, 외부에서 차단되더라도 CCP 입장에서는 문제가 없지만, 차단을 시도하는 다른 국가·사이트에는 부담으로 작용함

방화벽 차단 조치

• 저자는 직접 badbots 방화벽 규칙에 Tencent 네트워크 블록을 추가함
• 예시: 43.130.0.0/18, 101.32.0.0/20, 150.109.96.0/19 등
• 총 40여 개의 네트워크 블록을 추가했으며, 이게 Tencent가 소유한 IP 전체를 포괄하지는 않으나 476,590개 이상의 고유 IP를 포함

결론과 비유

• 저자는 이러한 상황을 “인터넷에서는 더 이상 좋은 것을 가질 수 없다”라는 현실로 표현
• 단순한 봇 트래픽 차단을 넘어, 인터넷 생태계 전반의 신뢰 저하와 불가피한 방어적 대응을 보여주는 사례