원제: perplexity-ai/pplx-decider-v1.3
Perplexity가 11월 9일에 업로드한 v1.2의 후속 버전으로, Qwen3.8-27B를 기반으로 한 멀티모달 분류 모델입니다. 하나의 요청에 상태(텍스트, JSON 또는 이미지)와 여러 질문을 입력하면, 각 질문은 네 가지 유형 중 하나로 분류됩니다: choice(1–255개의 선택지, 각 선택지의 확률 반환), noul(예/아니오, 참일 확률 반환), score(2–255점 척도 점수, 기대 점수 반환), 그리고 새로 추가된 locate(원문에서 문자 그대로의 발췌문을 추출하며 문자 위치와 점수를 포함)입니다. 전체 어휘 테이블 출력을 사용하지 않고 255줄의 헤더를 사용하며, 모든 주의(attention) 레이어가 입력에 대해 양방향으로 가시적입니다. 온도는 홀드아웃 데이터에서 보정되었으며, decision_config.json 파일이 존재합니다. 라이선스는 Apache-2.0입니다.
왜 중요한가 대량 판정 작업인 티켓 분류, 콘텐츠 모더레이션, 라우팅 결정 등에 적합합니다. 텍스트 생성 없이 확률만 읽기 때문에 정렬 및 임계값 설정이 용이하며, Apache 라이선스를 따릅니다.
상승 점수 27 · 좋아요 92 · 다운로드 수 1304
이유
- 기본 separate 모드에서는 각 질문을 개별적으로 계산하므로, 다른 질문을 추가, 삭제 또는 순서를 바꿔도 답변에 영향을 주지 않습니다. isolated 모드는 한 번의 입력을 공유하여 더 효율적이며, 공식에 따르면 샘플에서 1.5–2.2%의 선호 답변이 변경될 수 있습니다.
- fast=True일 때 공식에 따르면 separate 모드는 약 1.7–1.9배, isolated 모드는 9–18배 더 빠르며, 선호 답변의 참조 구현 일치율은 99.4% 이상입니다.
- 공식적으로 tasksource 데이터셋에 감사를 표하며, 대부분의 성능 향상이 여기서 비롯되었다고 언급합니다. 학습, 평가 및 사용 예시는 Perplexity 블로그에 기재되어 있습니다.
사용법
- Python 3.12 이상, CUDA GPU 필요. BF16 가중치는 약 49 GiB이며 작업 메모리가 추가로 필요합니다. snapshot_download 후 source/src를 sys.path에 추가하고 from pplx_decider import Decider를 실행하거나, pip install ./source를 사용할 수 있습니다.
- Decider.from_pretrained(checkpoint, device="cuda") 실행 후 decide({"state": ..., "questions": {...}, "images": [...]})를 호출합니다. 정렬 시 decider.logits()를 사용하여 noul의 참-거짓 차이를 얻으면 확률이 포화되어 동점이 되는 것을 방지할 수 있습니다.
- locate는 이미지 없이 순수 텍스트 상태만 허용하며, 요청당 최대 128개의 질문을 처리합니다. 이미지는 자동으로 1.6 MP 이하로 축소되며 약 1,600개의 토큰 위치를 차지합니다. 기본 max_length는 32,768 토큰입니다.
리스크
- 카드에는 '저장소가 비공개이며 권한이 있는 토큰이 필요하다'고 적혀 있지만, 이 항목을 확인했을 때 저장소는 공개 읽기 권한이 있었습니다. 실제 접근 권한을 기준으로 하십시오.
- 카드에 평가 점수가 없습니다. 일반적인 인과적 추론으로는 이 체크포인트를 재현할 수 없으므로 반드시 제공된 코드를 사용해야 하며, v1.1 / v1.2의 프롬프트 구성을 그대로 사용할 수 없습니다.
- 확률 값에 의존할 경우 공식에서는 자체 트래픽으로 재보정을 권장하며, 단일 온도는 모든 작업에 적합하지 않습니다. 이 항목은 실행되지 않았습니다.