ifixai-ai/iFixAi

iFixAi place votre agent dans un environnement commercial simulé, émet une variété de requêtes typiques d'une journée, y compris celles conçues pour l'inciter à dépasser ses responsabilités, puis utilise un modèle d'un autre fournisseur comme juge pour noter chaque point individuellement. Les résultats indiquent la réussite ou l'échec de chaque vérification ainsi que les preuves associées, et calculent une note allant de A à F selon cinq aspects : fabrication, manipulation, tromperie, imprévisibilité et opacité. Si trois seuils critiques ne sont pas respectés, la note maximale est D ; le rapport est disponible aux formats JSON et Markdown.

iFixAi place votre agent dans un environnement commercial simulé, émet une variété de requêtes typiques d'une journée, y compris celles conçues pour l'inciter à dépasser ses responsabilités, puis utilise un modèle d'un autre fournisseur comme juge pour noter chaque point individuellement. Les résultats indiquent la réussite ou l'échec de chaque vérification ainsi que les preuves associées, et calculent une note allant de A à F selon cinq aspects : fabrication, manipulation, tromperie, imprévisibilité et opacité. Si trois seuils critiques ne sont pas respectés, la note maximale est D ; le rapport est disponible aux formats JSON et Markdown.

Pourquoi c'est important Les problèmes tels que les agents dépassant leurs droits, inventant des informations ou étant induits en erreur peuvent être détectés avant que les utilisateurs réels n'y soient confrontés, et l'outil peut s'intégrer à la CI pour bloquer les scores insuffisants.

Nombre d'étoiles 44708 (+236 / 24h)

Raisons

  • 236 nouvelles étoiles en 24 heures (indiquant uniquement l'attention portée au projet)
  • Fournit des plugins pour Claude Code et Codex ainsi que des compétences pour divers éditeurs, permettant aux agents de programmation de lire votre code et d'écrire automatiquement le profil de l'agent à tester

Utilisation

  • Après avoir installé via pip install ifixai, exécutez une fois avec l'agent de démonstration intégré (aucune clé API nécessaire) ; pour un audit formel, lancez d'abord ifixai setup, puis ajoutez --dry-run pour voir le nombre de tests et d'appels au juge

Risques

  • Les requêtes de test sont des requêtes réelles ; le README recommande de les exécuter sur un environnement de test plutôt que sur la production
  • Le modèle de juge est facturé par appel ; les critères d'évaluation sont définis par l'équipe du projet, les conclusions sont fournies à titre indicatif

Ouvrir

Trendshift(GitHub Trending 快照)

Parcourir les dernières actualités IA