このプロジェクトでは、大規模言語モデルが固定のプロンプトに従ってJSON形式の描画コマンドを出力し、ブラウザがそれらを再生して手書き、線画、消去を表示します。学生は途中で割り込むことができ、アプリはホワイトボードの現在の状態をモデルに送信します。著者は同じプロンプトセットを使用して、Claude、Gemini、DeepSeekの計6つのモデルと、8つの中学理科および経済シナリオをテストしました。抽出されたホワイトボードは、テスト対象リストに含まれていないモデルによってブラインド評価されました。著者によると、Gemini 4 Argon 11 ブロックはすべて合格しました。DeepSeek V4 Pro は 10 ブロック中 5 ブロックが合格し、V4.1 Flash は 4 ブロックが合格しました。後者は思考機能をオフにした場合、24 回の呼び出しのうち 7 回でフィールドが欠落したコマンドを返し、空白のホワイトボードを描画しました。しかし、両者の授業あたりのコストは数セント未満から1セント未満です。
なぜ重要か AIによる講義を作成したい人々にとって、再現可能な比較を提供します。DeepSeekは安価で最初の出力が速いですが、思考機能をオフにするとプロトコルに従って描画しないことがよくあります。
スター数 61
理由
- すべての 288 回の呼び出しのタイミング、使用量、費用、および生出力はリポジトリにあり、レビュー済みのホワイトボードはオンラインでストロークごとに再生できます
- 著者は限界を事前に明記しています。各モデルの評価は約 11 ブロックのみであり、中間順位は区別できません。プロンプトは中国語の1つの書き方のみです
使い方
- 結果を見るだけでAPIキーは不要:クローン後に python serve.py を実行してローカルギャラリーを開きます。自分で実行する場合は OPENROUTER_API_KEY と DEEPSEEK_API_KEY を設定する必要があります。著者によると、完全な実行には約 4 ドルかかります
リスク
- 評価はモデルによるブラインド評価であり、さらに 18 ブロックは人間の再確認用に保留されています。結論はこのプロンプトとこれら8つのシナリオにのみ適用されます
- これはホスト型の教育アプリではなく、プレイヤーが再生するのは録画された授業です