MacBook M5 Pro와 Qwen3.5 기반 로컬 AI 보안 시스템

• Qwen3.5-9B 모델이 MacBook Pro M5에서 완전 로컬로 실행되어 GPT-5.4 대비 4포인트 낮은 93.8% 성능을 기록
• 96개 테스트와 15개 스위트로 구성된 HomeSec-Bench에서 도구 사용, 보안 분류, 이벤트 중복 제거 등 실제 홈 보안 워크플로우를 평가
• Qwen3.5-35B-MoE는 TTFT 435ms로 모든 OpenAI 클라우드 모델보다 빠르며, GPU 메모리 사용량은 27.2GB 수준
• 로컬 실행은 API 비용이 없고 데이터 프라이버시가 완전 보장되며, Apple Silicon에서 실시간 시각화 가능
• Aegis-AI 시스템과 DeepCamera 플랫폼을 통해 소비자 하드웨어 기반의 로컬 우선 홈 보안 AI 생태계 구현이 가능해짐

Local AI vs Cloud 성능 비교

• Qwen3.5-9B 모델이 MacBook Pro M5에서 완전 로컬로 실행되어 93.8% 의 통과율을 기록, GPT-5.4 대비 4포인트 낮은 성능을 보임
  • 초당 25 토큰 처리 속도, TTFT(Time to First Token) 765ms, 13.8GB 통합 메모리 사용
  • API 비용이 없으며 데이터 프라이버시가 완전 보장됨
• 96개 테스트와 15개 스위트로 구성된 벤치마크에서 도구 사용, 보안 분류, 이벤트 중복 제거 등 실제 홈 보안 워크플로우를 평가
• 리더보드에서 GPT-5.4(97.9%) 가 1위, GPT-5.4-mini(95.8%) 가 2위, Qwen3.5-9B 및 27B(93.8%) 가 공동 3위
  • Qwen3.5-9B는 GPT-5.4-nano(92.7%) 보다 1포인트 높음

• Qwen3.5-35B-MoE는TTFT 435ms로모든 OpenAI 클라우드 모델보다 빠름

  • GPT-5.4-nano 508ms, GPT-5.4-mini 553ms, GPT-5.4 601ms
  • 디코드 속도는 GPT-5.4-mini가 234.5 tok/s로 가장 빠르며, Qwen3.5-9B는 25 tok/s
  • GPU 메모리 사용량은 Qwen3.5-9B 13.8GB, Qwen3.5-35B-MoE 27.2GB, Qwen3.5-122B-MoE 40.8GB

HomeSec-Bench 개요

• HomeSec-Bench는 실제 홈 보안 어시스턴트 워크플로우를 평가하기 위한 LLM 벤치마크
  • 단순 대화가 아닌 추론, 분류, 도구 사용 등 보안 시스템에 필요한 기능을 검증
  • 35개의 AI 생성 이미지를 사용하며, OpenAI 호환 엔드포인트에서 실행 가능

• 주요 테스트 스위트 (총 15개)

  • Context Preprocessing (6): 대화 중복 제거, 시스템 메시지 유지
  • Topic Classification (4): 질의의 도메인 라우팅
  • Knowledge Distillation (5): 대화에서 지속적 사실 추출
  • Event Deduplication (8): 여러 카메라 간 동일 인물 식별
  • Tool Use (16): 올바른 도구 및 매개변수 선택
  • Chat & JSON Compliance (11): 페르소나, JSON 출력, 다국어 지원
  • Security Classification (12): Normal → Monitor → Suspicious → Critical 단계 분류
  • Narrative Synthesis (4): 이벤트 로그 요약
  • Prompt Injection Resistance (4): 역할 혼동, 프롬프트 추출, 권한 상승 방지
  • Multi-Turn Reasoning (4): 참조 해석, 시간적 연속성 유지
  • Error Recovery (4): 불가능한 질의 및 API 오류 처리
  • Privacy & Compliance (3): 개인정보 비식별화, 불법 감시 거부
  • Alert Routing (5): 알림 채널 라우팅, 조용한 시간대 파싱
  • Knowledge Injection (5): 주입된 지식을 활용한 응답 개인화
  • VLM-to-Alert Triage (5): 비전 출력 → 긴급도 판단 → 알림 전송

• 평가 핵심 질문

  • 올바른 도구와 매개변수를 선택할 수 있는가
  • “밤에 마스크를 쓴 사람”을 Critical로 분류할 수 있는가
  • 이벤트 설명 내 프롬프트 인젝션에 저항할 수 있는가
  • 3개의 카메라에서 동일 인물을 중복 없이 인식할 수 있는가
  • 다중 턴 대화에서 보안 문맥을 유지할 수 있는가

로컬 AI의 가치

• Apple Silicon에서 벤치마크 실행을 실시간으로 시각화 가능
• 9B 모델이 오프라인 상태에서 GPT-5.4 대비 4% 이내 성능을 달성
• 완전한 프라이버시 보장과 API 비용 제로가 로컬 AI의 핵심 가치

시스템 구성

• System: Aegis-AI — 소비자 하드웨어 기반 로컬 우선 홈 보안 AI
• Benchmark: HomeSec-Bench — 96 LLM + 35 VLM 테스트, 16개 스위트 구성
• Skill Platform: DeepCamera — 분산형 AI 스킬 생태계