Modèle de langage ADN de 14.8B des institutions telles que Hugging Face, déjà répertorié le 24 10 : en collant une séquence d'ADN dans une conversation standard, il détermine en anglais si une mutation est bénigne ou pathogène, identifie les régions régulatrices de la séquence, classe le type d'organisme et peut également compléter des bases. Cette nouvelle répertoriation intervient parce que la fiche indiquait à l'époque « non compatible avec llama.cpp / GGUF » ; désormais, une version GGUF officielle est disponible, permettant une exécution locale via llama.cpp.
Score de progression 75 · J'aime 285 · Téléchargements 3719
Raisons
- Nouveautés par rapport au 24 10 : le dépôt officiel HuggingFaceBio/Carbon-X-GGUF est public et propose cinq niveaux de quantification : BF16, Q8_0, Q6_K, Q5_K_M et Q4_K_M ; llama.cpp prend en charge le tokenizer hybride ADN de Carbon à partir de la version b11742 (PR #30825). Le 29 10, la fiche principale du modèle a également remplacé la mention « non compatible avec llama.cpp et autres runtimes GGUF » par un lien vers le dépôt GGUF.
- Selon l'éditeur officiel, le tokenizer de la version llama.cpp est strictement identique à celui de la version Python originale : sur 1,000 prompts de référence (1.13M tokens) et 36 cas limites d'ADN, les IDs de token, le texte décodé et le rendu des modèles de chat sont identiques. Dans toutes les quantifications K, les couches d'embedding et de sortie stockant les tokens ADN conservent la précision Q8_0.
- L'éditeur officiel a testé chaque niveau de quantification sur deux benchmarks ADN via le service llama.cpp : FrontierVEP version originale (vLLM) 70.4, BF16 69.6, Q8_0 69.1, Q4_K_M 67.8 ; NextBase version originale 39.4, Q8_0 39.7, Q4_K_M 38.6. L'éditeur indique que les scores de BF16 à Q5_K_M restent dans la marge d'une erreur standard par rapport à l'original, tandis que Q4_K_M obtient les scores les plus bas sur les deux benchmarks.
Utilisation
- Téléchargez ou mettez à jour llama.cpp vers une version supérieure à b11742 (version desktop de llama.app ou paquets précompilés des releases GitHub), puis exécutez
llama serve -hf HuggingFaceBio/Carbon-X-GGUF:Q8\_0pour ouvrir simultanément l'interface web de chat et l'API compatible OpenAI ; en terminal, utilisezllama cli -hf HuggingFaceBio/Carbon-X-GGUF:Q8\_0. - Le fichier GGUF inclut déjà le modèle de chat et les paramètres d'échantillonnage par défaut, aucune configuration supplémentaire n'est nécessaire ; pour rester cohérent avec l'évaluation officielle, ajoutez
--chat-template-kwargs '{"enable\_thinking": false}'pour désactiver la réflexion. - Tailles des fichiers : Q8_0 15.8 GB (recommandé par l'éditeur, scores équivalents à BF16), Q6_K 12.6 GB, Q5_K_M 11.1 GB, Q4_K_M 9.6 GB (à utiliser en cas de mémoire limitée), BF16 29.7 GB. Lors des questions, placez la séquence de référence et la séquence mutée dans le même message, en incluant les informations connues telles que le gène, l'orientation du brin et les coordonnées ; toute suite de plus de 6 caractères A/C/G/T est automatiquement traitée comme de l'ADN.
Risques
- Les anciennes versions de llama.cpp (y compris v0.7.0) peuvent charger ces fichiers mais segmentent incorrectement les tokens ADN sans afficher d'erreur ; assurez-vous impérativement que la version est supérieure à b11742.
- Les versions quantifiées n'ont été testées que sur deux des cinq benchmarks (FrontierVEP, NextBase), avec un seul échantillonnage par benchmark et une erreur standard d'environ 1.5 et 1 points ; les performances sur GenomeQA et BioReason après quantification ne sont pas fournies par l'éditeur.
- Non validé cliniquement, l'éditeur précise clairement qu'il ne doit pas être utilisé pour des décisions médicales ; les questions sur les sites d'épissage et les marques histones sont déjà faibles, et la qualité de la génération de longues séquences ADN diminue. La sortie ADN du modèle est encadrée par les balises <dna>…</dna>, que llama.cpp conserve telles quelles ; il faut les retirer manuellement si une séquence pure est requise.
Édition : l'avantage de l'exécution locale est que les séquences sensibles ou non publiées ne sont pas transmises à des services tiers, ce qui correspond précisément au risque souligné par l'éditeur dans la section sur les limites.