원제: HAL-X-AI/THX-02
HAL-X-AI의 '사고형 의사결정 모델': 상태(메시지, 티켓, 문서, JSON 레코드, 에이전트 궤적, 사진 또는 차트)와 자연어로 작성된 질문을 입력하면 자유 텍스트를 생성하지 않고 각 질문의 각 선택지에 대해 확률을 산출합니다. 질문은 단일 선택(최대 255개 선택지), 예/아니오, 순서형 점수 세 가지 유형으로 분류되며, 한 요청에는 최대 4장의 이미지를 포함할 수 있습니다. 모델은 4.5B 파라미터를 가지며, 추가로 60M 파라미터의 사고 어댑터가 있습니다. 직접 답변의 최고 확률이 임계값보다 낮고 내부 판단에 추론이 필요한 경우, 수십 단어의 추론 메모를 먼저 작성한 후 결정합니다. 저자는 사고하지 않을 때 요청당 중위 지연이 50밀리초, 자동 사고 시 79밀리초(RTX PRO 6000 1장 기준)라고 주장하며, Decision Index 0.3 공개 세트 샘플링에서 65.06점을 획득했습니다.
왜 중요한가 티켓 분류, 콘텐츠 모더레이션, UI 조작과 같은 판단 작업은 새로운 태스크를 위해 재학습할 필요가 없으며, 레이블은 요청에 직접 포함됩니다
상승 점수 48 · 좋아요 50 · 다운로드 수 2134
이유
- 고객 서비스 티켓의 다국어 분류, 스크린샷을 보고 단계별로 버튼을 눌러 항공권 예약, 화면을 보며 스네이크 게임 플레이 등 이러한 태스크를 위해 특별히 학습하지 않은 사용 사례를 시연했습니다
- 의존성이 없는 PyPI 클라이언트와 자체 호스팅 서버를 제공하며, 배치 인터페이스를 지원합니다. Android Termux에서 API를 호출할 수 있으며, 메모리가 충분한 스마트폰에서는 로컬 실행도 가능합니다
- 가중치는 Apache-2.0 라이선스입니다
사용법
- pip install "thx02[local]" 실행 후 from thx02 import THX02; THX02.load("HAL-X-AI/THX-02")를 사용하여 모델을 로드하고, model.decide(상태, 질문 사전)을 호출하여 각 선택지의 확률을 얻습니다
- 자체 호스팅 서버: thx02-serve --model . --port 8200을 실행하고, 요청은 /v1/decide 또는 /v1/decide/batch로 전송합니다. think를 "auto"로 설정하면 자동 사고 기능이 활성화됩니다
리스크
- 성능 점수는 저자가 6,018개 샘플링 요청에서 자체 테스트한 결과이며, 전체 공개 세트 및 비공개 리더보드 테스트는 아직 수행되지 않았습니다. 비교 행의 다른 모델 점수는 각 모델의 공개 결과에서 가져왔습니다
- 사고 기능은 별도의 GPU 추론 서버가 필요하며, CPU 및 스마트폰에서는 직접 답변만 가능합니다
- 저자는 확률이 학습 분포에서만 보정된다고 경고하며, 차이가 큰 도메인으로 전환할 경우 수백 개의 레이블이 지정된 샘플로 먼저 검증해야 한다고 조언합니다
- 이 항목은 실행되지 않았으며, 효과는 모델 카드를 기준으로 합니다