guide-tutor は、DeepSeek Harness プラグインと Windows ネイティブのオーバーレイの2つの部分で構成されています。最前面に固定されたフローティングボールをクリックすると、スクリーンショットが現在の会話に送信され、モデルが画像を解析した後に、全画面の透明レイヤー上に矩形、円、矢印、テキストを描画し、半透明のパネルで現在のステップを表示します。回答はローカルの中国語音声で一文ずつ読み上げられ、字幕も表示されます。音声入力は、ローカルでオフライン動作する sherpa-onnx を使用して認識されます。チュートリアルの手順は、ローカルの Markdown または Word ナレッジベースに保存でき、次回以降にそのまま再利用できます。
なぜ重要か 「スクリーンショットを見ながら手順を説明する」ことを、画面上への直接の注釈と音声解説に変換することで、高齢者や新人にソフトウェアの使い方を教える際に、より直感的になります。
スター数 62
理由
- リポジトリ 11 月 13 日に作成されたばかりで、README を確認したところ、機能やデータの保存場所が具体的に記載されています
- 読み上げと音声認識はすべてローカルで完結するため、追加の API キーは不要です
使い方
- DSH 内で plugin_manager の install_bundle を使用してプラグインディレクトリを指定してインストールし、パネルで学習したい操作を入力します。モデルが計画を確認した後、注釈の描画が始まります
リスク
- Windows のみに対応しています。画面読み取り機能により、画面全体のスクリーンショットが使用しているモデルに送信されるため、機密性の高いウィンドウは事前に閉じておく必要があります
- リポジトリでライセンスが明示されていません