molly554/whiteboard-ai-tutor

В этом проекте большая языковая модель выводит JSON-инструкции для рисования согласно фиксированному промпту, а браузер воспроизводит их в виде рукописного текста, линий и стирания; ученик может прервать процесс в любой момент, после чего приложение отправляет текущее состояние доски обратно модели. Автор протестировал шесть моделей от Claude, Gemini и DeepSeek на восьми сценариях из школьной программы по естественным наукам и экономике, используя один и тот же промпт; выборочные записи с доски оценивались вслепую моделью, не входящей в список тестируемых. По словам автора, Gemini 4 Argon успешно выполнил все 11 блоков; DeepSeek V4 Pro справился с 5 из 10 блоков, а V4.1 Flash — с 4 блоком. При отключении режима размышлений у последней модели в 7 из 24 вызовов возвращались инструкции с отсутствующими полями, что приводило к появлению пустой доски; однако стоимость одного урока для обеих моделей составляет лишь доли цента или менее одного цента.

В этом проекте большая языковая модель выводит JSON-инструкции для рисования согласно фиксированному промпту, а браузер воспроизводит их в виде рукописного текста, линий и стирания; ученик может прервать процесс в любой момент, после чего приложение отправляет текущее состояние доски обратно модели. Автор протестировал шесть моделей от Claude, Gemini и DeepSeek на восьми сценариях из школьной программы по естественным наукам и экономике, используя один и тот же промпт; выборочные записи с доски оценивались вслепую моделью, не входящей в список тестируемых. По словам автора, Gemini 4 Argon успешно выполнил все 11 блоков; DeepSeek V4 Pro справился с 5 из 10 блоков, а V4.1 Flash — с 4 блоком. При отключении режима размышлений у последней модели в 7 из 24 вызовов возвращались инструкции с отсутствующими полями, что приводило к появлению пустой доски; однако стоимость одного урока для обеих моделей составляет лишь доли цента или менее одного цента.

Почему это важно Для тех, кто хочет создавать ИИ-лекции, этот проект предоставляет воспроизводимый контрольный пример: DeepSeek дешев и быстро генерирует первый ответ, но при отключении режима размышлений часто не следует протоколу рисования.

Количество звезд 61

Причины

  • В репозитории сохранены данные о времени, использовании, стоимости и сырые выводы всех 288 вызовов; проверенные записи с доски можно построчно воспроизвести онлайн.
  • Автор заранее указывает ограничения: каждая модель была оценена примерно на 11 блоках, что не позволяет четко разделить средние места; промпт представлен только в одном варианте на китайском языке.

Использование

  • Для просмотра результатов ключ API не требуется: клонируйте репозиторий, запустите python serve.py и откройте локальную галерею. Для самостоятельного запуска необходимо установить переменные OPENROUTER_API_KEY и DEEPSEEK_API_KEY; по словам автора, полный цикл тестирования стоит около 4 доллара.

Риски

  • Оценка проводится вслепую моделью, при этом 18 блоков оставлены для ручной проверки; выводы применимы только к данному промпту и восьми сценариям.
  • Это не хостинговое образовательное приложение: плеер воспроизводит заранее записанные уроки.

Открыть

GitHub

Открыть последние новости ИИ