Các mô hình văn bản thuộc dòng Liquid AI LFM3: 1.73B tham số, kiến trúc hỗn hợp ba thành phần (13 lớp tích chập ngắn có cổng + 5 lớp chú ý cửa sổ trượt + 6 lớp chú ý toàn cục), được huấn luyện hậu kỳ cho các khung tác nhân như Hermes Agent, Pi, OpenClaw, tập trung vào việc chạy cục bộ trên điện thoại và máy tính xách tay để thực hiện gọi công cụ và xuất dữ liệu có cấu trúc.
Tăng hạng 178 · Lượt thích 178 · Lượt tải xuống 6311
Lý do
- Theo thông tin chính thức, ở định dạng 4-bit, mô hình chiếm khoảng 1 GB bộ nhớ; trên Ryzen AI Max+ 395, Apple M5 Max và iPhone 17 Pro, với ngữ cảnh 32K, tốc độ tiền xử lý (prefill) nhanh hơn ít nhất 2.5 lần và tốc độ giải mã (decode) nhanh hơn ít nhất 1.8 lần so với tất cả các mô hình so sánh, đồng thời mức tiêu thụ bộ nhớ cũng thấp nhất.
- Kết quả tự kiểm tra của nhà phát triển: BFCL V4 71.39 (Qwen3.5 9B đạt 62.83), LiveClaw 45.60 (Qwen3.5 9B đạt 35.77); tuy nhiên, điểm SWE-bench Verified 43.40 vẫn thấp hơn mức 51.20 của Qwen3.5 9B, và điểm MCP-Atlas 32.57 cũng thấp hơn mức 41.37 của Qwen3.5 4B.
- Hỗ trợ tải công cụ theo yêu cầu (defer_loading) kết hợp với tìm kiếm công cụ, giúp không cần đưa tất cả các công cụ vào prompt khi số lượng công cụ lớn; nhà phát triển cung cấp bốn ví dụ tinh chỉnh trên một GPU bao gồm SFT, DPO, GRPO và tiếp tục huấn luyện trước. Các mô hình cùng dòng là LFM3-Omni-2B (có khả năng nhìn, nghe, trả lời bằng văn bản hoặc giọng nói) và LFM3-VL-2B cũng xuất hiện trong bảng xếp hạng kỳ này.
Cách sử dụng
- Transformers: pipeline("text-generation", model="LiquidAI/LFM3-1.7B", trust_remote_code=True); nhà phát triển khuyến nghị cho các tác vụ chung: temperature 0.1, top_k 50, repetition_penalty 1.1; cho các tác vụ toán học/lý luận: temperature 1.0, top_p 0.95, top_k 20.
- Chạy cục bộ: Nhà phát triển cung cấp định dạng GGUF (llama.cpp / Ollama / LM Studio), MLX 4-bit, ONNX; dịch vụ GPU có phiên bản FP8, NVFP4 (SGLang), cũng hỗ trợ vLLM.
- Tính năng suy luận (thinking) được bật mặc định, có thể tắt bằng enable_thinking=False, nhưng nhà phát triển lưu ý rằng hiệu suất không ổn định khi tắt; định nghĩa công cụ được truyền qua apply_chat_template(tools=...), mô hình xuất lệnh gọi dưới dạng XML, và kết quả được thêm vào dưới dạng tin nhắn công cụ (tool message).
Rủi ro
- Nhà phát triển không khuyến nghị sử dụng cho lập trình tác nhân và suy luận đa bước phức tạp; các tác vụ đòi hỏi nhiều kiến thức cần kết hợp với truy xuất hoặc tìm kiếm.
- Giấy phép là LFM Open License v1.0, không phải Apache / MIT, cần xem xét kỹ các điều khoản trước khi sử dụng cho mục đích thương mại.
- Các so sánh về điểm số và tốc độ đều dựa trên kết quả tự kiểm tra của nhà phát triển; bài kiểm tra tốc độ sử dụng bản build llama.cpp có hỗ trợ LFM3, và tính năng tìm kiếm công cụ trên llama.cpp cũng yêu cầu phiên bản tương thích với LFM3 cùng mẫu chat mới nhất.