iFixAi は、あなたのエージェントをシミュレーションされたビジネス環境に配置し、1日の業務で遭遇するさまざまなリクエスト(職務範囲を超えた行動を誘導するリクエストを含む)を発行します。その後、別のベンダーのモデルが審判として各項目を採点します。結果では、各チェックの合否と根拠に加え、「捏造」「操作」「欺瞞」「予測不能性」「不透明性」の5つの観点から算出されたA〜Fの評価が表示されます。3つの必須基準(ハードライン)に不合格の場合、最高評価はDとなります。レポートはJSONおよびMarkdownの2形式で提供されます。
なぜ重要か エージェントによる権限超過、捏造、誘導といった問題は、実際のユーザーが遭遇する前に検出でき、さらにCIパイプラインに統合してスコアをゲートとして機能させることも可能です。
スター数 44708(+236 / 24時間)
理由
- 24時間で新たに236個のスターを獲得(これは注目度を示すに過ぎません)
- Claude Code、Codexプラグイン、および複数のエディタ向けスキルを提供しており、コーディングエージェントがコードを読み取り、テスト対象のエージェントのプロファイルを自動生成できます
使い方
pip install ifixaiを実行後、内蔵のデモエージェントで一度試走します(APIキーは不要です)。本格的な監査を行う場合は、まずifixai setupを実行し、さらに--dry-runオプションを付けてテスト数と審判モデルの呼び出し数を確認してください
リスク
- 探査リクエストは実際のリクエストであるため、READMEでは本番環境ではなくテスト環境での実行を推奨しています
- 審判モデルは呼び出しごとに課金されます。評価基準はプロジェクト側で定義されており、結論は参考情報としてお考えください