Hai mô hình ngôn ngữ do một nhà nghiên cứu tự xây dựng từ đầu, từ đường ống dữ liệu đến nhân huấn luyện: Praxis (tổng tham số 2.94B, kích hoạt mỗi lượt 0.46B) và Logos (tổng tham số 10.23B, kích hoạt mỗi lượt 1.18B). Cả hai đều có cấu trúc MoE kết hợp giữa Mamba-2 và cơ chế attention, trong đó mỗi token được xử lý qua toàn bộ mạng hai lần bằng cùng một bộ trọng số ("nhìn lại lần nữa"). Mỗi mô hình được huấn luyện trên 1.02T token, với độ dài ngữ cảnh 131,072. Phần sau của báo cáo tập trung vào các lỗi gặp phải: bộ tối ưu hóa đã cấu hình thực tế không hoạt động, một module ghi nhớ n-gram học cách tự tắt, năm lựa chọn tinh chỉnh làm giảm hiệu năng, và phần thưởng độ dài dưới cơ chế chuẩn hóa trung bình trong nhóm sẽ trừng phạt "câu trả lời đúng nhưng viết dài"; tác giả đưa ra chứng minh và một dòng sửa lỗi cắt ngắn.
Lượt thích 4 · Số sao mã nguồn 0
Lý do
- Định hướng hiệu quả rõ ràng: Tác giả cho biết dữ liệu huấn luyện chỉ bằng khoảng một phần mười hai mức trung vị của các mô hình công khai cùng loại, số tham số kích hoạt mỗi token ít hơn, nằm trên cả hai đường biên Pareto về lượng dữ liệu và năng lực tính toán; xếp hạng thứ hai trong 30 mô hình về toán học (AIME 2025 67.50%).
- Có thể sử dụng ngay: Trọng số Apache-2.0 có trên Hugging Face, cùng với các phiên bản FP8, NVFP4, GGUF và MLX 4/8bit; công cụ suy luận Dromos do tác giả tự viết (Apache-2.0) hỗ trợ chip NVIDIA, Apple và CPU, cung cấp giao diện tương thích OpenAI.
- Ghi chép thất bại có giá trị tham khảo: Vấn đề đảo ngược dấu của phần thưởng độ dài khi tỷ lệ vượt qua trong nhóm cao hơn 2/3 là một lỗi mà những người làm huấn luyện suy luận bằng học tăng cường có thể kiểm tra trực tiếp.
Cách dùng
- Nhanh nhất: curl -fsSL https://github.com/lernex/dromos/releases/latest/download/install.sh | sh, sau đó chạy dromos run logos:fp8 để trò chuyện trong terminal, hoặc dromos serve logos:fp8 để mở giao diện tương thích OpenAI (cổng 8080); lệnh dromos doctor cho biết máy của bạn có thể chạy định dạng nào.
- Chọn định dạng theo card đồ họa (theo thẻ mô hình): Từ 32 GB trở lên dùng BF16, 16/24 GB dùng FP8, 8/12 GB dùng NVFP4 (chỉ Dromos đọc được), Mac dùng MLX, CPU / laptop dùng GGUF Q4_K_M (llama.cpp).
- Transformers: AutoModelForCausalLM.from_pretrained("Lernex/Metis-1.6-Logos", trust_remote_code=True), yêu cầu transformers phiên bản 4.57 trở lên; chế độ suy nghĩ khuyến nghị temperature 0.8, repetition_penalty 1.05, không thấp hơn 0.6.
Rủi ro
- Tác giả tự ghi nhận rằng khả năng code, tuân thủ chỉ dẫn và ngữ cảnh dài còn yếu; điểm trung bình trên 40 tiêu chuẩn xếp thứ bảy trong nhóm 17 mô hình so sánh, chênh lệch dưới một điểm so với Qwen3-4B.
- Con số tăng tốc giải mã của Dromos so với vLLM dựa trên thử nghiệm của tác giả trên một card RTX 5070 Ti duy nhất; cần trust_remote_code, và khi dùng llama.cpp / Ollama phải điều chỉnh cửa sổ phạt lặp lại theo thẻ mô hình, nếu không chế độ suy nghĩ dễ bị lặp vòng.
- Đây là dự án cá nhân, các tiêu chuẩn được tác giả tự kiểm tra trong cùng một khung đánh giá, chưa có bên thứ ba tái hiện.