NVIDIA/SkillEvaluator

SkillEvaluator は3層構造になっています。第1層では、スキルが安全か、フォーマットが規範に従っているか、各種エージェントと互換性があるかをチェックし、SkillSpector と Gitleaks を呼び出してスキャンを実行します。第2層では、ベクトルを用いてスキル内部およびスキル間の重複コンテンツを検出します。第3層では、サンドボックス内でエージェントにスキルあり・なしの状態でタスクを実行させ、その結果を比較します。第1層はモデルや API キーを一切使用せずに実行可能で、同梱されているサンプルを使用すると 86.2 点を取得できます。また、NVIDIA Build の無料クレジットを利用してモデルによる評価を行うことも可能です。これは NVIDIA 認定スキルプロセスの一部であり、arXiv 論文が添付されています。

SkillEvaluator は3層構造になっています。第1層では、スキルが安全か、フォーマットが規範に従っているか、各種エージェントと互換性があるかをチェックし、SkillSpector と Gitleaks を呼び出してスキャンを実行します。第2層では、ベクトルを用いてスキル内部およびスキル間の重複コンテンツを検出します。第3層では、サンドボックス内でエージェントにスキルあり・なしの状態でタスクを実行させ、その結果を比較します。第1層はモデルや API キーを一切使用せずに実行可能で、同梱されているサンプルを使用すると 86.2 点を取得できます。また、NVIDIA Build の無料クレジットを利用してモデルによる評価を行うことも可能です。これは NVIDIA 認定スキルプロセスの一部であり、arXiv 論文が添付されています。

なぜ重要か スキルはどんどん増えていくものの、それが実際に役立っているかどうかを検証する人はほとんどいません。このツールは、静的チェック、重複検出、サンドボックス内での対照実験を1つのコマンドに統合しており、CI への組み込みも可能です。

スター数 1703(+122 / 24時間)

理由

  • 24 時間で新たに 122 スター増加し、合計スター数は 1703 です(これは注目度を示すに過ぎません)。ライセンスは Apache-2.0 です。
  • README には各層に必要な条件(スキャナー、モデル、Docker サンドボックス)が明記されており、実行できない層は未完了としてマークされます。

使い方

  • pip install skillevaluator を実行した後、skillevaluator validate ./my-skill --tiers 1 を実行してキーなしでチェックを行います。GitHub リポジトリ内で skillevaluator ci init を実行すると、CI への統合用 PR が自動的に作成されます。

リスク

  • 第3層ではモデルサービス、対応しているエージェント、および Docker サンドボックスが必要です。モデルによる評価では、スキルのドキュメントが選択したモデルサービスに送信されます。

開く

Trendshift(GitHub Trending 快照)

最新の AI ニュースを見る