Show HN: Cactus Needle 3, DeepSeek V4 Flash에 필적할 수 있는 8~29MB 자동화 모델

2 weeks ago 12

Needle 3는 모바일, 웨어러블, 로봇, 스마트홈, 자동차, 마이크로컨트롤러를 위한 단일 8~29MB 바이너리 모델로, 범용 대화 능력 대신 도구 호출과 구조화된 데이터 추출에 집중함 앱이 제공한 도구 정의를 읽어 함수와 인자를 선택하고, 여러 요청은 순서대로 호출하며, 대응하는 도구가 없으면 추측 대신 빈 목록을 반환함 구조화된 추출과 텍스트 임베딩도 지원하며, 디코딩 문법으로 파싱 가능한 출력을 보장하고 기기 안에서 검색, 매칭, 요청 라우팅을 수행함 2~20개 층의 하위 네트워크를 선택할 수 있으며, DroidCall 미세 조정에서는 4개 층, 2,900만 매개변수부터 DeepSeek V4 Flash를 넘어섬 Raspberry Pi 5에서 디코딩 초당 400~4,000토큰, 프리필 초당 1,000~10,000토큰을 처리하며, 배포 대상별로 1MB 미만의 사전 빌드 엔진을 제공함 작은 기기를 위한 특화 모델 Needle 3는 Simple Attention Network를 기반으로 하며, 전체 모델을 단일 8~29MB 바이너리로 제공함 범용 대화 능력을 줄이는 대신 모바일 도구 호출에서 크기가 10배인 모델을 능가하고, 추출에서는 2~3배 큰 모델에 필적함 입력은 텍스트 프롬프트와 도구 정의 또는 추출 스키마이며, 도구 호출과 추출 결과를 구조화된 JSON으로 출력함 도구 호출, 추출, 임베딩 도구 호출은 앱이 노출한 함수 가운데 적절한 함수를 고르고 사용자 발화에서 인자를 채움 두 가지 작업을 요청하면 순서대로 두 호출을 생성함 요청을 처리할 도구가 없으면 추측하지 않고 빈 목록을 반환함 구조화된 추출은 지정한 형태에 맞춰 비정형 텍스트를 타입이 있는 필드로 변환함 청구서, 예약, 알림, 양식 등에 사용할 수 있으며, 디코딩 문법이 출력의 파싱 가능성을 보장함 추출 능력은 분류 문제에도 잘 일반화됨 텍스트 임베딩은 같은 모델에서 문장의 벡터를 반환함 기기 내 검색, 요청과 가장 가까운 도구 선택, 중복 알림 통합 등에 활용할 수 있음 제품별 활용 예시 스마트홈에서는 “침실 조명을 어둡게 하고 문을 잠가”를 두 호출로 변환해 허브 왕복 없이 오프라인으로 실행함 로봇에서는 “주방은 청소하되 침실은 제외해”, “끝나면 충전대로 돌아가” 같은 지시를 실행 가능한 동작 순서로 변환함 스마트폰에서는 지난 주말 사진으로 앨범 만들기, 사이트 열기, 화면 어둡게 하기, 파일에서 임대차 계약서 찾기 등을 수행함 웨어러블...

Read Entire Article