Mô hình ngôn ngữ DNA 14.8B từ các tổ chức như Hugging Face, đã được ghi nhận vào ngày 24 tháng 10: khi dán trình tự DNA vào cuộc trò chuyện thông thường, mô hình sẽ dùng tiếng Anh để xác định xem đột biến là lành tính hay gây bệnh, xác định các vùng điều hòa trong trình tự, phân loại sinh vật, và cũng có thể tiếp tục viết các base. Lần ghi nhận lại này là do trước đó mô hình được ghi chú là "không hỗ trợ llama.cpp / GGUF", nhưng hiện tại phiên bản GGUF chính thức đã ra mắt, cho phép chạy cục bộ bằng llama.cpp.
Điểm tăng 75 · Lượt thích 285 · Lượt tải 3719
Lý do
- Nội dung mới so với ngày 24 tháng 10: Kho lưu trữ chính thức HuggingFaceBio/Carbon-X-GGUF đã được công khai, cung cấp năm mức lượng tử hóa: BF16, Q8_0, Q6_K, Q5_K_M, Q4_K_M; llama.cpp hỗ trợ bộ tách từ DNA lai của Carbon từ phiên bản b11742 trở đi (PR #30825). Vào ngày 29 tháng 10, thẻ mô hình chính cũng đã thay thế câu "llama.cpp và các runtime GGUF khác không được hỗ trợ" bằng liên kết đến kho lưu trữ GGUF.
- Chính thức tuyên bố rằng bộ tách từ của phiên bản llama.cpp hoàn toàn nhất quán với phiên bản Python gốc: trên 1,000 câu lệnh chuẩn (1.13M token) và 36 trường hợp biên DNA, ID token, văn bản giải mã và kết xuất mẫu trò chuyện đều giống nhau. Trong tất cả các mức lượng tử hóa K, lớp nhúng và lớp đầu ra lưu trữ token DNA đều được giữ ở mức Q8_0.
- Chính thức đã kiểm tra từng mức lượng tử hóa trên hai tiêu chuẩn DNA bằng cách phục vụ qua llama.cpp: FrontierVEP gốc (vLLM) 70.4, BF16 69.6, Q8_0 69.1, Q4_K_M 67.8; NextBase gốc 39.4, Q8_0 39.7, Q4_K_M 38.6. Chính thức cho biết từ BF16 đến Q5_K_M đều nằm trong khoảng một sai số chuẩn so với bản gốc, còn Q4_K_M có điểm thấp nhất ở cả hai tiêu chuẩn.
Cách sử dụng
- Tải xuống hoặc cập nhật llama.cpp lên phiên bản b11742 trở lên (phiên bản máy tính để bàn của llama.app hoặc gói biên dịch sẵn từ các bản phát hành GitHub), chạy lệnh llama serve -hf HuggingFaceBio/Carbon-X-GGUF:Q8_0, giao diện trò chuyện web và giao diện tương thích OpenAI sẽ được mở đồng thời; trong terminal, sử dụng llama cli -hf HuggingFaceBio/Carbon-X-GGUF:Q8_0.
- File GGUF đã bao gồm mẫu trò chuyện và các tham số lấy mẫu mặc định, không cần thiết lập thêm; để nhất quán với đánh giá huấn luyện chính thức, hãy thêm --chat-template-kwargs '{"enable_thinking": false}' để tắt chế độ suy nghĩ.
- Kích thước tệp: Q8_0 15.8 GB (được chính thức khuyến nghị, cho biết điểm số tương đương với BF16), Q6_K 12.6 GB, Q5_K_M 11.1 GB, Q4_K_M 9.6 GB (dùng khi bộ nhớ hạn chế), BF16 29.7 GB. Khi đặt câu hỏi, hãy đặt trình tự tham chiếu và trình tự đột biến trong cùng một tin nhắn, kèm theo các thông tin đã biết như gen, hướng chuỗi, tọa độ; các chuỗi liên tiếp gồm 6 ký tự A/C/G/T trở lên sẽ tự động được xử lý như DNA.
Rủi ro
- Các phiên bản llama.cpp cũ (bao gồm v0.7.0) có thể tải các tệp này nhưng sẽ tách sai token DNA mà không báo lỗi; nhất định phải xác nhận phiên bản từ b11742 trở lên.
- Các phiên bản lượng tử hóa chỉ được kiểm tra trên hai trong năm tiêu chuẩn (FrontierVEP, NextBase), mỗi tiêu chuẩn chỉ lấy mẫu một lần, sai số chuẩn khoảng 1.5 và 1 điểm; hiệu suất của GenomeQA và BioReason sau khi lượng tử hóa không được chính thức cung cấp.
- Chưa được xác minh lâm sàng, chính thức tuyên bố rõ ràng không được sử dụng cho các quyết định y tế; các câu hỏi về vị trí cắt nối và dấu hiệu histone vốn đã yếu, chất lượng khi tạo ra các trình tự DNA dài sẽ giảm. Đầu ra DNA của mô hình có gắn thẻ <dna>…</dna>, llama.cpp sẽ giữ nguyên, cần tự loại bỏ nếu muốn có trình tự thuần.
Biên tập: Lợi ích của việc chạy cục bộ là các trình tự nhạy cảm, chưa công bố không cần gửi cho các dịch vụ của bên thứ ba, đây chính là rủi ro mà chính thức đã nhắc nhở trong phần hạn chế.