iFixAi помещает вашего агента в смоделированную бизнес-среду, отправляя ему различные запросы, с которыми он сталкивается в течение дня, включая те, что провоцируют выход за рамки обязанностей. Затем модель от другого поставщика выступает в роли судьи и оценивает каждый пункт отдельно. Результат включает статус прохождения или непрохождения каждой проверки с подтверждающими доказательствами, а также оценки от A до F по пяти аспектам: выдумывание, манипуляция, обман, непредсказуемость и непрозрачность. Если не пройдены три обязательных базовых требования, максимальная оценка ограничивается уровнем D. Отчет доступен в форматах JSON и Markdown.
Почему это важно Проблемы, связанные с превышением полномочий агентами, выдумыванием фактов или их провокацией, можно выявить до того, как с ними столкнутся реальные пользователи. Кроме того, решение можно интегрировать в CI для контроля оценок.
Звезды 44708 (+236 / 24ч)
Причины
- 236 новых звезд за 24 часов (отражает только уровень внимания)
- Предоставляет плагины для Claude Code и Codex, а также навыки для различных редакторов, что позволяет программирующим агентам читать ваш код и автоматически создавать профиль тестируемого агента
Использование
- После установки через pip install ifixai запустите встроенного демонстрационного агента (API-ключ не требуется); для официального аудита сначала выполните ifixai setup, а затем добавьте флаг --dry-run, чтобы увидеть количество тестов и вызовов модели-судьи
Риски
- Проверочные запросы являются реальными запросами, поэтому в README рекомендуется запускать их в тестовой среде, а не в производственной
- Модель-судья тарифицируется по количеству вызовов; критерии оценки определяются разработчиками проекта, поэтому выводы носят рекомендательный характер