llama.cpp phát hành v1.0.0, các thay đổi giao diện được đánh dấu theo số phiên bản chính

Đội ngũ llama.cpp đã thông báo trên blog Hugging Face rằng thư viện llama.cpp và ggml đã bước vào phiên bản v1.0.0. Sau ba năm rưỡi kể từ khi dự án ra đời, số lượng phụ thuộc phía hạ nguồn ngày càng tăng; trong tương lai, các dự án thuộc tổ chức ggml-org sẽ tuân thủ thống nhất quy tắc phiên bản ngữ nghĩa (semantic versioning), và mọi thay đổi không tương thích về API hoặc ABI đều sẽ được nâng lên số phiên bản chính. Đội ngũ cho biết llama.cpp hiện hỗ trợ 150 nhiều biến thể kiến trúc mô hình cùng các phương pháp giải mã suy đoán (speculative decoding) phổ biến, đồng thời mở rộng kiểm thử CI nhờ HF Buckets, HF Jobs và phần cứng do NVIDIA, AMD, Qualcomm, Arm, IBM và Intel cung cấp; bên cạnh đó, ứng dụng máy tính để bàn Llama dành cho macOS và Windows cũng đã được ra mắt.

Tiêu đề gốc: llama.cpp v1.0.0 : A stronger foundation for the local AI ecosystem

Đội ngũ llama.cpp đã thông báo trên blog Hugging Face rằng thư viện llama.cpp và ggml đã bước vào phiên bản v1.0.0. Sau ba năm rưỡi kể từ khi dự án ra đời, số lượng phụ thuộc phía hạ nguồn ngày càng tăng; trong tương lai, các dự án thuộc tổ chức ggml-org sẽ tuân thủ thống nhất quy tắc phiên bản ngữ nghĩa (semantic versioning), và mọi thay đổi không tương thích về API hoặc ABI đều sẽ được nâng lên số phiên bản chính. Đội ngũ cho biết llama.cpp hiện hỗ trợ 150 nhiều biến thể kiến trúc mô hình cùng các phương pháp giải mã suy đoán (speculative decoding) phổ biến, đồng thời mở rộng kiểm thử CI nhờ HF Buckets, HF Jobs và phần cứng do NVIDIA, AMD, Qualcomm, Arm, IBM và Intel cung cấp; bên cạnh đó, ứng dụng máy tính để bàn Llama dành cho macOS và Windows cũng đã được ra mắt.

Tại sao quan trọng llama.cpp là một trong những thư viện nền tảng phổ biến nhất để chạy các mô hình lớn cục bộ, với rất nhiều ứng dụng phụ thuộc vào nó; khi quy tắc phiên bản được làm rõ, việc nâng cấp phía hạ nguồn sẽ không còn dễ bị ảnh hưởng âm thầm bởi các thay đổi gây hỏng hóc.

Độ tin cậy: Cao · Nguồn Hugging Face (bao gồm cả kênh chính thức) · Thời gian sự kiện 11-13 22:05 (giờ Bắc Kinh)

Lý do

  • Được đội ngũ ggml-org công bố trên blog chính thức của Hugging Face

Cách sử dụng

  • Tải phiên bản mới từ GitHub ggml-org/llama.cpp; xem khu vực thảo luận của dự án để biết cách tích hợp quy trình đóng gói và phát hành

Rủi ro

  • Các dự án phía hạ nguồn cần kiểm tra phạm vi phụ thuộc theo quy tắc phiên bản mới

Mở

Hugging Face

Xem tin AI mới nhất