apfel - Mac에 이미 내장된 무료 AI를 활용하게 해주는 도구

2 hours ago 1

macOS 26 이상 Apple Silicon Mac에 포함된 Apple 온디바이스 LLM을 직접 활용할 수 있게 하는 오픈소스
FoundationModels.framework 기반 모델을 CLI, HTTP 서버, 대화형 채팅 형태로 개방해 OpenAI API와 호환
모든 연산이 로컬에서 처리되어 비용 0원, 데이터 유출 위험 없음, 4096 토큰 컨텍스트와 다국어 지원 제공
cmd, oneliner, explain, gitsum 등 다양한 보조 도구로 코드·명령어 요약과 자동화 기능 지원
macOS에 이미 존재하는 Apple Intelligence 모델을 완전 개방해, 개발자가 자신의 하드웨어에서 독립적으로 AI를 실행할 수 있게 함

apfel 개요

apfel은 macOS 26(Tahoe) 이상 버전의 Apple Silicon Mac에 내장된 Apple 온디바이스 LLM을 직접 사용할 수 있게 하는 도구
Apple이 Siri와 시스템 기능에만 제한적으로 사용하던 FoundationModels.framework 기반 언어 모델을 CLI, HTTP 서버, 대화형 채팅 형태로 개방
100% 온디바이스 실행, 비용 0원, OpenAI API 호환성 제공
Homebrew로 설치 가능하며, MIT 라이선스의 오픈소스로 배포

CLI 도구
- UNIX 스타일 명령행 도구로, stdin/stdout, JSON 출력, 파일 첨부, 정상 종료 코드 지원
- jq, xargs, 셸 스크립트와 조합 가능
- 예시: $ apfel "What is the capital of Austria?" The capital of Austria is Vienna.
OpenAI 호환 서버
- localhost:11434에서 OpenAI API 대체 서버로 동작
- Streaming(SSE), Tool Calling, CORS, response_format: json_object 등 지원
- OpenAI SDK의 base_url만 변경하면 동일 코드로 사용 가능
- 예시: client = OpenAI(base_url="http://localhost:11434/v1";, api_key="unused")
대화형 채팅
- 멀티턴 대화, 자동 컨텍스트 관리, 시스템 프롬프트, 5가지 트리밍 전략 지원
- 예시: $ apfel --chat -s "You are a coding assistant" > How do I reverse a list in Python?

Apple 내장 LLM을 FoundationModels.framework를 통해 직접 접근
Apple이 Siri, Writing Tools 등에서만 사용하던 모델을 apfel은 Swift 6.3 바이너리로 LanguageModelSession을 감싸 직접 접근 인터페이스 제공
Hummingbird 기반 HTTP 서버 내장
4096 토큰 한계를 보완하기 위해 5가지 컨텍스트 트리밍 전략과 정확한 토큰 카운팅 기능 포함
OpenAI Tool Schema를 Apple의 Transcript.ToolDefinition 형식으로 변환

apfel-gui
- SwiftUI 기반 macOS GUI
  - Apple Intelligence와의 채팅, 요청/응답 로그, 음성 입출력 기능 제공
  - 출시 예정
apfel-clip
- 클립보드 기반 AI 액션 도구
  - 문법 수정, 번역, 코드 설명, 요약 등 기능을 메뉴바에서 원클릭 실행
  - 개발 진행 중