Show HN: Flide, Jev 계열 의사결정 모델을 최대 9.5배 빠르게 실행

Flide는 Jev 계열 의사결정 모델용 추론 인프라로, 정확한 상태 분기(exact state forking)를 통해 vLLM과 SGLang 대비 최대 9.5배 빠른 추론을 내세움 하나의 상태를 여러 질문으로 분기하면서도, 각 답변은 모델에 해당 질문만 단독으로 입력했을 때의 답변과 같도록 유지함 Jev의 /v1/systemone API를 제공하며, 공유 상태에 대한 여러 질문과 요청 본문 하나에 담긴 복수 요청을 처리함 Qwen3.5, Gemma 4와 다양한 의사결정 모델을 지원하며, 모델에 따라 텍스트 외에 이미지와 동영상도 입력할 수 있음 공개 성능표는 H200 한 대에서 요청 지연시간 중앙값을 비교한 결과임. 비교 엔진과 성능 향상 폭이 모델 및 작업 부하마다 다르므로, 모든 모델이 동일하게 9.5배 빨라지는 것은 아님 정확한 상태 분기와 의사결정 API Flide는 정확한 상태 분기를 사용하는 Jev 계열 의사결정 모델용 추론 인프라임 하나의 상태를 여러 질문으로 분기하고, 각 질문에 한 번의 순전파로 답함 각 답변은 모델이 해당 질문을 단독으로 받았을 때의 답변과 같음 /v1/systemone 요청은 공유 state와 여러 questions를 담는 구조임 예제는 화면이 깨진 채 도착한 주문과 환불 요청을 상태로 제공함 choice 질문으로 환불, 교환, 사람에게 이관 중 다음 조치를 선택하고, noul 질문으로 한 시간 안에 응답해야 하는지 판단함 질문 하나에 최대 256개 선택지를 사용할 수 있음 flide verify 로 사용자가 자신의 모델과 요청에 대해 정확한 상태 분기를 검증할 수 있음 기술적 접근은 논문 Flide: Accelerating Decision Inference with Exact State Forking에 정리되어 있음 성능 수치의 비교 조건 성능표는 H200 한 대에서 Decision Index(DI), MultiRC, QuALITY의 요청별 지연시간 중앙값을 비교함 기본 비교 대상은 각 모델 배포본에 포함된 엔진임 채팅 모델은 vLLM과 SGLang 중 더 빠른 엔진, OneJev는 이전에 사용하던 qev와 비교함 KnowLine 35B는 원래 배포본의 조건에 맞춰 --quantize fp8로 실행함 ~가 붙은 값은 시험한 모델 크기들의 평균임 모델과 작업 부하에 따라 향상 폭이 크게 달라짐 OneJev는 qev 대비 DI 약 6.8배, MultiRC 7.3배, QuALI...