Flide: 의사결정 모델을 위한 정확한 분기 추론 엔진

Jev와 같은 "의사결정 모델"은 에이전트가 상태가 주어졌을 때 각 선택지에 대한 확률을 출력하는 객관식 형태의 빠른 판단을 하도록 돕지만, 생성을 위해 설계된 vLLM 및 SGLang 같은 엔진은 이러한 요청을 처리할 때 공통 접두사를 반복적으로 재계산하거나 출력 확률이 왜곡되는 문제가 발생합니다. Flide는 의사결정 요청의 논리적 트리와 물리적 실행을 분리하여, 하나의 평평한 토큰 스트림 내에서 ForkAttention을 사용해 분기를 처리하고, 표준 어텐션과 Gated DeltaNet 순환 레이어를 모두 지원하며, 각 분기의 결과가 개별 순전파 결과와 완전히 일치하도록 보장합니다. 또한 에이전트의 계속 길어지는 히스토리는 이전에 저장된 체크포인트에서 이어 계산할 수 있습니다. 저자들은 vLLM 및 SGLang 대비 최대 9.5 배 빠르며, float32 기준 결과와 가장 유사하다고 주장합니다.

원제: Flide: Accelerating Decision Inference with Exact State Forking

Jev와 같은 "의사결정 모델"은 에이전트가 상태가 주어졌을 때 각 선택지에 대한 확률을 출력하는 객관식 형태의 빠른 판단을 하도록 돕지만, 생성을 위해 설계된 vLLM 및 SGLang 같은 엔진은 이러한 요청을 처리할 때 공통 접두사를 반복적으로 재계산하거나 출력 확률이 왜곡되는 문제가 발생합니다. Flide는 의사결정 요청의 논리적 트리와 물리적 실행을 분리하여, 하나의 평평한 토큰 스트림 내에서 ForkAttention을 사용해 분기를 처리하고, 표준 어텐션과 Gated DeltaNet 순환 레이어를 모두 지원하며, 각 분기의 결과가 개별 순전파 결과와 완전히 일치하도록 보장합니다. 또한 에이전트의 계속 길어지는 히스토리는 이전에 저장된 체크포인트에서 이어 계산할 수 있습니다. 저자들은 vLLM 및 SGLang 대비 최대 9.5 배 빠르며, float32 기준 결과와 가장 유사하다고 주장합니다.

왜 중요한가 에이전트 내에서 "무엇을 선택할지, 해야 할지"를 결정하는 많은 빠른 판단에 대해, 범용 추론 엔진보다 더 빠르고 출력 확률이 왜곡되지 않음

좋아요 32 · 코드 스타 수 386

이유

  • PyPI 패키지가 이미 공개되었으며, Qwen3.5, Gemma 4 및 수십 개의 오픈소스 의사결정 모델 패밀리를 지원하며, 저자들은 계속 모델을 추가하고 있음
  • README의 이메일 분류 예시: H200 한 장에서 1만 통의 이메일에 대해 각각 8개의 질문에 답하는 데 28초 소요
  • --session-cache-gb를 통해 이전 요청의 상태를 유지할 수 있어, 에이전트의 다음 단계에서는 새로운 내용만 계산하면 됨

사용법

  • 코드: https://github.com/OmniJev/Flide;uv pip install flide torchvision 후 flide serve --model <모델명>
  • 요청을 /v1/systemone으로 전송: state에 현재 상황을, questions에 객관식 또는 예/아니오 질문을 작성

리스크

  • 의사결정 관련 요청(선택지에 확률 부여)만 처리하며, 범용 텍스트 생성 엔진이 아님
  • 모델별 가속 배수가 크게 다르며, README 표에 따르면 약 1.0배에서 28.1배까지 다양하고, 모두 저자가 H200에서 측정한 결과임
  • 이 항목은 실행되지 않음

열기 · 코드 · 논문 페이지

Hugging Face Daily Papers

최신 AI 소식 보기