molly554/whiteboard-ai-tutor

이 프로젝트는 대규모 언어 모델이 고정된 프롬프트에 따라 JSON 형식의 드로잉 명령어를 출력하도록 하며, 브라우저가 이를 수기 작성, 선 그리기, 지우기 동작으로 재생합니다. 학생은 중간에 중단할 수 있으며, 앱은 화이트보드의 현재 상태를 모델로 다시 전송합니다. 저자는 동일한 프롬프트 세트를 사용하여 Claude, Gemini, DeepSeek의 총 6개 모델과 8개의 중학교 이과 및 경제 시나리오를 테스트했으며, 추출된 화이트보드 내용은 테스트 대상 목록에 포함되지 않은 모델이 블라인드 방식으로 평가했습니다. 저자에 따르면 Gemini 4 Argon은 11개 블록을 모두 통과했습니다. DeepSeek V4 Pro는 10개 블록 중 5개를 통과했고, V4.1 Flash는 4개를 통과했습니다. 후자의 경우 사고(thinking) 기능을 비활성화하면 24번 호출 중 7번에서 필드가 누락된 명령어를 반환하여 빈 화이트보드가 그려졌습니다. 하지만 두 모델 모두 수업당 비용은 1센트의 일부에서 1센트 미만 수준에 불과합니다.

이 프로젝트는 대규모 언어 모델이 고정된 프롬프트에 따라 JSON 형식의 드로잉 명령어를 출력하도록 하며, 브라우저가 이를 수기 작성, 선 그리기, 지우기 동작으로 재생합니다. 학생은 중간에 중단할 수 있으며, 앱은 화이트보드의 현재 상태를 모델로 다시 전송합니다. 저자는 동일한 프롬프트 세트를 사용하여 Claude, Gemini, DeepSeek의 총 6개 모델과 8개의 중학교 이과 및 경제 시나리오를 테스트했으며, 추출된 화이트보드 내용은 테스트 대상 목록에 포함되지 않은 모델이 블라인드 방식으로 평가했습니다. 저자에 따르면 Gemini 4 Argon은 11개 블록을 모두 통과했습니다. DeepSeek V4 Pro는 10개 블록 중 5개를 통과했고, V4.1 Flash는 4개를 통과했습니다. 후자의 경우 사고(thinking) 기능을 비활성화하면 24번 호출 중 7번에서 필드가 누락된 명령어를 반환하여 빈 화이트보드가 그려졌습니다. 하지만 두 모델 모두 수업당 비용은 1센트의 일부에서 1센트 미만 수준에 불과합니다.

왜 중요한가 AI 강의를 개발하려는 사람들에게 재현 가능한 비교 기준을 제시합니다. DeepSeek은 저렴하고 초기 응답이 빠르지만, 사고(thinking) 기능을 비활성화하면 프로토콜에 따라 그리지 않는 경우가 많습니다.

별점 61

이유

  • 모든 288번 호출의 타이밍, 사용량, 비용 및 원시 출력 데이터가 저장소에 포함되어 있으며, 검토된 화이트보드는 온라인에서 필기 단위로 재생할 수 있습니다
  • 저자는 한계를 명시했습니다. 각 모델은 약 11개 블록만 평가되어 중간 순위의 구분이 어렵고, 프롬프트는 하나의 중국어 버전만 사용되었습니다

사용법

  • 결과만 확인하려면 API 키가 필요 없습니다. 클론 후 python serve.py를 실행하여 로컬 갤러리를 열 수 있습니다. 직접 실행하려면 OPENROUTER_API_KEY와 DEEPSEEK_API_KEY를 설정해야 하며, 저자에 따르면 전체 실행 비용은 약 4달러입니다

리스크

  • 평가는 모델의 블라인드 방식으로 이루어지며, 18개 블록은 인간 검증을 위해 남겨두었습니다. 결론은 이 특정 프롬프트와 8개 시나리오에만 적용됩니다
  • 이는 호스팅형 교육 애플리케이션이 아니며, 플레이어는 녹화된 수업을 재생합니다

열기

GitHub

최신 AI 소식 보기