Hugging Face 등 기관의 14.8B DNA 언어 모델로, 10월 24일에 이미 등재된 바 있습니다. 일반 채팅에 DNA 서열을 붙여 넣으면 영어로 돌연변이가 양성인지 병원성인지, 서열 내 조절 영역은 무엇인지, 어떤 생물체에 속하는지 판단하고 염기 서열을 계속 생성할 수도 있습니다. 이번 재등재는 당시 모델 카드에 'llama.cpp / GGUF 미지원'이라고 명시되어 있었으나, 현재 공식 GGUF 버전이 출시되어 로컬에서 llama.cpp로 실행할 수 있게 되었기 때문입니다.
상승 점수 75 · 좋아요 285 · 다운로드 수 3719
이유
- 10월 24일 대비 새로운 내용: 공식 저장소 HuggingFaceBio/Carbon-X-GGUF가 공개되었으며, BF16, Q8_0, Q6_K, Q5_K_M, Q4_K_M의 5가지 양자화 수준을 제공합니다. llama.cpp는 b11742부터(PR #30825) Carbon의 하이브리드 DNA 토크나이저를 지원합니다. 10월 29일 주 모델 카드에서도 'llama.cpp 및 기타 GGUF 런타임 미지원'이라는 문구를 GGUF 저장소 링크로 변경했습니다.
- 공식적으로 llama.cpp 버전의 토크나이저가 Python 원본과 완전히 동일하다고 명시했습니다. 1,000개의 기준 프롬프트(1.13M 토큰)와 36개의 DNA 경계 사례에서 토큰 ID, 디코딩된 텍스트 및 채팅 템플릿 렌더링이 모두 동일했습니다. 모든 K 양자화에서 DNA 토큰을 저장하는 임베딩 레이어와 출력 레이어는 모두 Q8_0로 유지됩니다.
- 공식적으로 llama.cpp 서비스를 사용하여 두 가지 DNA 벤치마크에서 각 양자화 수준을 테스트했습니다. FrontierVEP 원본(vLLM) 70.4, BF16 69.6, Q8_0 69.1, Q4_K_M 67.8; NextBase 원본 39.4, Q8_0 39.7, Q4_K_M 38.6. 공식적으로 BF16부터 Q5_K_M까지는 모두 원본의 약 한 표준 오차 이내이며, Q4_K_M이 두 항목 모두에서 가장 낮은 점수를 기록했다고 밝혔습니다.
사용법
- llama.cpp를 b11742 이상으로 다운로드하거나 업데이트합니다(llama.app의 데스크톱 버전 또는 GitHub 릴리스의 사전 컴파일된 패키지). llama serve -hf HuggingFaceBio/Carbon-X-GGUF:Q8_0을 실행하면 웹 채팅 인터페이스와 OpenAI 호환 API가 동시에 열립니다. 터미널에서는 llama cli -hf HuggingFaceBio/Carbon-X-GGUF:Q8_0을 사용합니다.
- GGUF 파일에는 채팅 템플릿과 기본 샘플링 매개변수가 포함되어 있어 추가 설정이 필요 없습니다. 공식 학습 및 평가와 일관성을 유지하기 위해 --chat-template-kwargs '{"enable_thinking": false}'를 추가하여 사고(thinking) 기능을 끄십시오.
- 파일 크기: Q8_0 15.8 GB(공식 권장, BF16와 점수가 동등하다고 주장), Q6_K 12.6 GB, Q5_K_M 11.1 GB, Q4_K_M 9.6 GB(메모리가 부족할 때 사용), BF16 29.7 GB. 질문할 때 참조 서열과 변이 서열을 동일한 메시지에 포함시키고, 유전자, 사슬 방향, 좌표 등 알려진 정보를 첨부하십시오. 연속된 6개 이상의 A/C/G/T는 자동으로 DNA로 처리됩니다.
위험 요소
- 구버전 llama.cpp(v0.7.0 포함)는 이러한 파일을 로드할 수 있지만, DNA를 잘못된 토큰으로 분할하며 오류를 발생시키지 않습니다. 반드시 버전이 b11742 이상인지 확인하십시오.
- 양자화 버전은 5가지 벤치마크 중 두 가지(FrontierVEP, NextBase)만 테스트했으며, 각 항목당 단일 샘플링을 수행했고 표준 오차는 약 1.5점과 1점입니다. GenomeQA, BioReason의 양자화 후 성능은 공식적으로 제공되지 않았습니다.
- 임상 검증을 거치지 않았으며, 공식적으로 의료 결정에 사용할 수 없다고 명시했습니다. 스플라이스 부위, 히스톤 마커 관련 질문은 원래 취약하며, 긴 DNA 서열을 생성할 때 품질이 저하됩니다. 모델이 출력하는 DNA에는 <dna>…</dna> 태그가 붙으며, llama.cpp는 이를 그대로 유지하므로 순수한 서열이 필요할 경우 직접 제거해야 합니다.
편집: 로컬 실행의 장점은 민감하거나 미공개된 서열을 제3자 서비스로 전송하지 않아도 된다는 점이며, 이는 공식적으로 한계 섹션에서 경고한 위험과 정확히 일치합니다.