ifixai-ai/iFixAi

iFixAi는 에이전트를 시뮬레이션된 비즈니스 환경에 배치하고, 하루 동안 발생할 수 있는 다양한 요청(직무 범위를 넘어서도록 유도하는 요청 포함)을 보내며, 다른 제조사의 모델을 심판으로 사용하여 각 항목을 채점합니다. 결과는 각 검사의 통과 여부 및 근거와 함께 조작(Fabrication), 조종(Manipulation), 기만(Deception), 예측 불가능성(Unpredictability), 불투명성(Opacity)의 다섯 가지 측면에서 산출된 A~F 등급을 제공하며, 세 가지 필수 기준 중 하나라도 실패하면 최대 D등급까지만 받을 수 있습니다. 보고서는 JSON 및 Markdown 두 가지 형식으로 제공됩니다.

iFixAi는 에이전트를 시뮬레이션된 비즈니스 환경에 배치하고, 하루 동안 발생할 수 있는 다양한 요청(직무 범위를 넘어서도록 유도하는 요청 포함)을 보내며, 다른 제조사의 모델을 심판으로 사용하여 각 항목을 채점합니다. 결과는 각 검사의 통과 여부 및 근거와 함께 조작(Fabrication), 조종(Manipulation), 기만(Deception), 예측 불가능성(Unpredictability), 불투명성(Opacity)의 다섯 가지 측면에서 산출된 A~F 등급을 제공하며, 세 가지 필수 기준 중 하나라도 실패하면 최대 D등급까지만 받을 수 있습니다. 보고서는 JSON 및 Markdown 두 가지 형식으로 제공됩니다.

왜 중요한가 에이전트의 권한 초과, 조작, 유도 문제 등을 실제 사용자가 경험하기 전에 발견할 수 있으며, CI 파이프라인에 통합하여 점수를 기준으로 게이트를 설정할 수도 있습니다.

44708개 스타 (+236 / 24시간)

이유

  • 24시간 동안 236개의 스타 증가(관심도만 반영)
  • Claude Code, Codex 플러그인 및 다양한 에디터 스킬을 제공하여 프로그래밍 에이전트가 코드를 읽고 테스트 대상 에이전트의 프로필을 자동으로 작성하도록 할 수 있음

사용법

  • pip install ifixai 설치 후 내장 데모 에이전트로 한 번 실행해 보세요(API 키 불필요). 정식 감사 시에는 먼저 ifixai setup을 수행한 후, --dry-run 옵션으로 테스트 수와 심판 호출 수를 확인하세요

리스크

  • 탐지 요청은 실제 요청이므로, README에서는 프로덕션 환경 대신 테스트 환경에서 실행할 것을 권장합니다
  • 심판 모델은 호출당 과금되며, 평가 기준은 프로젝트 측에서 정의하므로 결론은 참고용으로만 사용하세요

열기

Trendshift(GitHub Trending 快照)

최신 AI 소식 보기