molly554/whiteboard-ai-tutor

Dự án này cho phép các mô hình lớn xuất ra các chỉ lệnh vẽ dưới dạng JSON theo một prompt cố định, trình duyệt sẽ phát lại chúng thành các thao tác viết tay, vẽ đường và xóa; học sinh có thể ngắt giữa chừng, và ứng dụng sẽ gửi trạng thái hiện tại của bảng trắng trở lại cho mô hình. Tác giả đã sử dụng cùng một bộ prompt để kiểm thử tổng cộng sáu mô hình thuộc ba dòng Claude, Gemini và DeepSeek, trên tám kịch bản liên quan đến khoa học tự nhiên và kinh tế ở bậc trung học cơ sở. Các bảng trắng được trích xuất sẽ được đánh giá mù bởi các mô hình không nằm trong danh sách kiểm thử. Tác giả cho biết Gemini 4 Argon 11 vượt qua tất cả các khối; DeepSeek V4 Pro vượt qua 5 trên tổng số 10 khối, còn V4.1 Flash vượt qua 4 khối. Khi tắt chế độ suy luận (thinking), trong 24 lần gọi API của mô hình sau, có 7 lần trả về các chỉ lệnh thiếu trường dữ liệu, dẫn đến việc vẽ ra một bảng trắng trống; tuy nhiên, chi phí cho mỗi bài học của cả hai mô hình này chỉ từ vài phần mười cent đến chưa tới một cent.

Dự án này cho phép các mô hình lớn xuất ra các chỉ lệnh vẽ dưới dạng JSON theo một prompt cố định, trình duyệt sẽ phát lại chúng thành các thao tác viết tay, vẽ đường và xóa; học sinh có thể ngắt giữa chừng, và ứng dụng sẽ gửi trạng thái hiện tại của bảng trắng trở lại cho mô hình. Tác giả đã sử dụng cùng một bộ prompt để kiểm thử tổng cộng sáu mô hình thuộc ba dòng Claude, Gemini và DeepSeek, trên tám kịch bản liên quan đến khoa học tự nhiên và kinh tế ở bậc trung học cơ sở. Các bảng trắng được trích xuất sẽ được đánh giá mù bởi các mô hình không nằm trong danh sách kiểm thử. Tác giả cho biết Gemini 4 Argon 11 vượt qua tất cả các khối; DeepSeek V4 Pro vượt qua 5 trên tổng số 10 khối, còn V4.1 Flash vượt qua 4 khối. Khi tắt chế độ suy luận (thinking), trong 24 lần gọi API của mô hình sau, có 7 lần trả về các chỉ lệnh thiếu trường dữ liệu, dẫn đến việc vẽ ra một bảng trắng trống; tuy nhiên, chi phí cho mỗi bài học của cả hai mô hình này chỉ từ vài phần mười cent đến chưa tới một cent.

Tại sao quan trọng Cung cấp một bộ đối chứng có thể chạy lại được cho những ai muốn xây dựng hệ thống giảng dạy bằng AI: DeepSeek rẻ và phản hồi nhanh, nhưng khi tắt chế độ suy luận thì thường không tuân thủ đúng giao thức vẽ.

Số sao 61

Lý do

  • Thời gian, mức sử dụng, chi phí và đầu ra gốc của toàn bộ 288 lần gọi đều có sẵn trong kho lưu trữ; các bảng trắng đã được đánh giá có thể phát lại từng nét vẽ trực tuyến.
  • Tác giả nêu rõ các hạn chế ngay từ đầu: mỗi mô hình chỉ được đánh giá khoảng 11 khối, nên thứ hạng ở giữa không thể phân biệt rõ ràng; prompt chỉ có một phiên bản duy nhất bằng tiếng Trung.

Cách sử dụng

  • Chỉ xem kết quả mà không cần khóa API: sau khi clone về, chạy lệnh python serve.py để mở thư viện cục bộ; nếu tự chạy, bạn cần thiết lập biến môi trường OPENROUTER_API_KEY và DEEPSEEK_API_KEY. Tác giả cho biết chi phí để chạy toàn bộ quy trình khoảng 4 đô la.

Rủi ro

  • Việc chấm điểm do mô hình thực hiện đánh giá mù, ngoài ra còn có 18 khối được giữ lại để con người kiểm tra thủ công; kết luận chỉ áp dụng cho prompt này và tám kịch bản đã nêu.
  • Đây không phải là một ứng dụng giảng dạy được quản lý (hosted); trình phát chỉ phát lại các bài học đã được ghi hình.

Mở

GitHub

Xem tin AI mới nhất