fahsq72lan/dsh-guide-tutor

guide-tutor se compose de deux parties : le plugin DeepSeek Harness et une couche flottante native Windows. Un simple clic sur la boule flottante épinglée capture l'écran et l'envoie à la conversation actuelle ; après analyse de l'image, le modèle dessine des rectangles, des cercles, des flèches et du texte sur une couche transparente plein écran, tandis qu'un panneau semi-transparent affiche l'étape en cours. Les réponses sont lues phrase par phrase avec une voix chinoise locale accompagnée de sous-titres, et la saisie vocale est reconnue localement hors ligne via sherpa-onnx ; les étapes pédagogiques peuvent être enregistrées dans une base de connaissances locale Markdown ou Word pour une réutilisation directe ultérieure.

guide-tutor se compose de deux parties : le plugin DeepSeek Harness et une couche flottante native Windows. Un simple clic sur la boule flottante épinglée capture l'écran et l'envoie à la conversation actuelle ; après analyse de l'image, le modèle dessine des rectangles, des cercles, des flèches et du texte sur une couche transparente plein écran, tandis qu'un panneau semi-transparent affiche l'étape en cours. Les réponses sont lues phrase par phrase avec une voix chinoise locale accompagnée de sous-titres, et la saisie vocale est reconnue localement hors ligne via sherpa-onnx ; les étapes pédagogiques peuvent être enregistrées dans une base de connaissances locale Markdown ou Word pour une réutilisation directe ultérieure.

Pourquoi c'est important Transformer l'explication d'étapes « à partir d'une capture d'écran » en annotations directes sur l'écran accompagnées d'un commentaire vocal rend l'apprentissage des logiciels plus intuitif pour les personnes âgées ou les nouveaux utilisateurs.

Nombre d'étoiles 62

Raison

  • Le dépôt 11 a été créé le 13, j'ai lu le README, et les fonctionnalités ainsi que l'emplacement de stockage des données sont décrits précisément
  • La lecture à voix haute et la reconnaissance vocale s'effectuent localement, sans nécessiter de clé supplémentaire

Utilisation

  • Dans DSH, utilisez install_bundle du plugin_manager pour pointer vers le répertoire du plugin afin de l'installer, puis indiquez dans le panneau les opérations que vous souhaitez apprendre ; le modèle commence à annoter après avoir confirmé le plan

Risques

  • Compatible uniquement avec Windows ; la capture d'écran envoie l'intégralité de l'écran au modèle utilisé, il faut donc fermer les fenêtres sensibles au préalable
  • Le dépôt ne déclare pas de licence

Ouvrir

GitHub

Parcourir les dernières actualités IA