FSE가 FBI를 만남

• FSE(Freespeech Extremist) 서버가 미 연방수사국(** FBI**)의 데이터 수집 대상이 된 경험을 공유함
• FBI는 사설 업체(SocialGist 등) 에 비용을 지불해 각종 포럼, 페디버스 데이터를 대규모로 스크랩하여, 내용 분석과 키워드 기반 분류, 감성분석에 활용함
• 서버 운영 과정에서 악의적 유저 탐지, 트래픽 분석·추적 노하우, 그리고 데이터 포이즈닝이나 우회적 크롤링 대응 경험을 기술함
• BoardReader와 같은 자료 수집 기업들이 공격적 크롤링·프록시 우회로 서버를 계속 스캔하였고, FBI 데이터 연관성도 드러남
• 이러한 사례를 통해 페디버스 서버 운영자 및 IT업계에게 데이터 보안, 관찰 및 대응력을 높일 필요성을 강조함

FSE가 FBI를 만남

Pete, 2025년 4월 6일

개요 및 사건의 전개

• FSE(Freespeech Extremist) 관리자는 서버의 UGC, 크롤러, 연방 수사기관 데이터 수집 전반에 대한 이상 경험을 공유함
• FBI와의 실제 접점 및, 데이터가 어떻게 스크랩되어 실제로 수사기관 내부 시스템 및 Facebook 기반 조직화 인터페이스로 유입되는지 분석함
• 본문의 주요 내용은 서버 로그 분석, 악성 이용자 대처, 트래픽 이상 탐지 방법론과, 데이터 스크래핑 업체의 우회 접근, 이들과 법집행기관의 연결 고리임

사건의 뿌리 – 불법 콘텐츠의 위협

• 페디버스 내 아동 성범죄자 유입이 서버 존재 자체를 위협하는 가장 심각한 리스크임
• FSE는 표현의 자유를 중시해 관리하였으나, 불법적 행위 발생 시 철저히 기록을 남기고 적극적으로 차단·공개함
• 타 인스턴스의 허위 블록 및 오해로 인한 정보 왜곡, 외부 정보기관(예: FBI)으로 데이터가 넘어가는 구조에도 유의함

기술적 대응 및 로그 분석 크래시코스

서버 운영에서의 이상 징후 진단

• 서버 소프트웨어의 한계, 비정상 트래픽, 크롤러/봇/스캐너로 인해 공개 서버는 항상 ‘Weird’에 노출됨
• 효과적으로 대응하려면 awk, tail -f, whois, tcpdump, traceroute, Shodan 등 텍스트 및 네트워크 분석 도구 습득 필요
• 웹서버 로그 포맷 커스터마이징(TSV 등), 리소스별 응답 시간 기록, 이상값 탐지 등 실시간 데이터 흐름 파악법 소개
• 간단한 통계 분석(평균, 표준편차, 이상치 알림) 을 활용하여 DDoS, 크롤링 등 비정상 상황 식별 가능

경험에서 쌓인 ‘흉터 조직’과 대응 방안

• 초기에는 일반적 스패머 및 자동화된 가입 이슈를 맞닥뜨림
• 대량 등록 방지 목적으로 로그와 연동된 이메일, 음성 알림, nginx 레이트리밋 등 자체적 경량화 도구 제작·운용
• CAPTCHA, 이메일 인증 도입 대신 개인정보 최소화 정책과 수작업 패스워드 리셋 도입
• 대부분의 솔루션을 직접 구현해 유연성, 속도, 신속한 대응력 확보

BoardReader와 FSE, 그리고 크롤러 탐지

BoardReader 크롤링 경위와 분석

• 기존에 알지 못했던 BoardReader라는 업체가 FSE 데이터를 포럼 게시글로 인식, 대량 크롤링함
• 크롤러는 여러 IP, 레지던셜 프록시, Tor, 다양한 UA, 심지어 크롬 세션 재생 등 우회를 시도함
• 429(스로틀링), 401/403(권한/금지) 오류를 보내면 오히려 더 많은 요청 반복 시도
• 결국 402(Payment Required) 등 다양한 응답으로 차단을 지속했고, 대화도 시도하였으나, 계속해서 우회로 데이터를 수집함
• 크롤러 우회 패턴을 식별하고, 추적 중 SocialGist와 연결 관계 및 FBI 연루 정황 파악

BoardReader·SocialGist와의 실제 교신

• 반복된 크롤링에 대해 BoardReader와 SocialGist에 공식 문의, ‘크롤링 중지 및 info@boardreader.com 응답 요청’ 시도
• SocialGist 측에서는 형식적인 답만 제공하고 실제로는 계속 우회를 지속, 약속 불이행이 확인됨
• 서비와 추가적으로 개발자 IP 추적(세르비아 ISP, devtools.boardreader.com) , 내부적으로 페디버스 아키텍처 안내 진행

FBI의 직접적 개입

FBI 문의 경위 및 파악

• Dave(SocialGist)와의 교신 도중, fbi.gov 주소로부터 ‘긴급 공개 요청(Emergency Disclosure Request)’ 제목의 공식 메일 수신
• FBI 요원은 ‘WitchKingOfAngmar’라는 이용자의 신상정보 요청 및 게시글 스크린샷을 첨부하여 문의함
• 해당 게시물은 FSE가 아니라 sneed.social 산하의 게시글임에도, 크롤러가 FSE에 귀속시켜 DB에 등록하여 오인 유발
• FBI의 스크린샷에는 포럼형 목록, 감성분석, 관련 키워드(‘kill blackrock’, ‘larry fink’ 등) 하이라이트가 포함됨
• SocialGist의 Relay, BoardReader의 데이터 아키텍처 결함, FBI의 구조적 오해, 실제로는 페디버스 분산 특성과 시스템적 혼동이 드러남

FBI와의 후속 대처

• FSE 관리자는 FBI에 원 게시글이 FSE 산하가 아님을 설명, 원 게시자의 인스턴스를 확인 요청함
• FBI 요원의 문의가 중지되고, 직접적 대응 종료, 게시글 비공개화 및 긴급 대응 후 서버 서비스 접근을 일시 제한
• 동 시점 BoardReader는 지속적으로 우회 크롤링을 시도하지만 차단 지속, FBI는 추가 응답 없이 종료됨

결론 및 시사점

• 이 케이스는 스크래핑 업체와 데이터 브로커, 그리고 국가기관 간 데이터 연계 실제 현황을 구체적으로 보여줌
• 분산 SNS(페디버스) 서버 운영자가 로그분석, 이상패턴 탐지, 법적 대응, 자동화 차단 도구 구축에 능해야 함을 강조
• 사회 전체적으로는, 민주적 오픈 웹 시스템이 사적/국가기관 감시 체계에 쉽게 흡수·왜곡될 위험성이 있음을 시사함
• 최종적으로, 개방형 네트워크 설계 및 운영자 커뮤니티의 정보공유가 효과적인 데이터 보안 방어의 핵심임을 강조함