이것은 JMNI-Labs가 Flare 추론 엔진용으로 패키징한 배포 패키지입니다. 두 대의 DGX Spark에서 텐서 병렬 방식으로 커뮤니티의 DeepSeek-V4.1-Flash-1017 TrellisMX K2-Mix 버전을 서비스합니다. 라우팅된 전문가 모델은 K2/K3/K4 혼합 저비트로 처리되며, Engram 테이블은 4 비트를 사용합니다. 어텐션, 공유 전문가 모델, MTP, 비전 및 토크나이저는 공식 원본 상태를 유지합니다. 16개의 동시 요청 슬롯, 최대 5개의 검증용 초안 토큰을 지원하는 MTP, 약 259 GiB의 페이로드, 그리고 기본 약 14 GiB의 KV 할당을 포함합니다.
왜 중요한가 두 대의 DGX Spark를 보유한 사용자를 위한 즉시 사용 가능한 경로를 제공합니다. 다중 동시 처리, OpenAI 호환 인터페이스를 지원하며 긴 컨텍스트도 처리할 수 있습니다.
상승 점수 2 · 좋아요 2 · 다운로드 수 0
이유
- 모델 카드에 출처 체인이 명확히 기술되어 있습니다. 공식 MIT 가중치, 커뮤니티 TrellisMX 패키지의 특정 버전 및 사용된 커널이 명시되어 있습니다.
사용법
- 두 대의 DGX Spark 모두 해당 브랜치로 빌드된 Flare를 설치합니다. 첫 번째 서버에서는 flare download로 패키지를 가져와 rank 0로 시작하고, 두 번째 서버는 rank 1으로 참여합니다. 클라이언트는 첫 번째 서버의 8000 포트에 연결합니다.
리스크
- 아직 정식 버전에 통합되지 않은 ds41-trellismx 엔진 브랜치가 필요하며, 정식 flare-inference에서는 로드할 수 없습니다.
- 패키지에 포함된 서명은 로컬 개발용 서명뿐이므로, 시작 시 --dangerously-* 매개변수를 추가해야 합니다. 저자는 신뢰할 수 있는 호스트에서만 사용하거나 정식 서명으로 교체할 것을 권장합니다.
- 공식 가중치 대비 품질 데이터가 제공되지 않았습니다.