原題:LongBanana: An Expert-Verified Benchmark for Long-Context Multi-Reference Image Synthesis
エージェント駆動の画像生成では多くの参照画像から情報を抽出する必要があるが、既存の評価は画像の妥当性のみを重視する傾向がある。LongBananaは、専門家によって設計された90個のタスクを含み、各タスクには約32枚の参照画像、20件の制約条件、50個のチェック項目が含まれる。エンティティ関係グラフを用いて要件を項目ごとに検証可能なリストに分解し、コンテンツの忠実性、関係の紐付け、グローバルな制約の3つの観点からスコアリングを行う。また、LongBanana-Genエージェント生成フレームワークも併せて提供されている。著者によると、専門家による二重評価サブセットの一致率は89.4%であり、最もシンプルなエージェントフローでも直接生成よりも優れている。ReAct-Planning-Execution-Reflection(RPR)フローによる改善効果は、使用されるフレームワークによって異なる。
なぜ重要か エージェント駆動の画像生成がますます一般的になる中、チェックリスト付きのこの評価手法により、参照画像の内容が正しく活用されているかを項目ごとに確認できる
いいね 28 · コードのスター数 2
理由
- 複数参照画像合成に対応:分散した証拠の検索、ノイズ画像の除外、エンティティと関係の正しい紐付けなど、単一の画質スコアでは測定できない要素を評価する
- コードはMITライセンス、データはCC BY 4.0ライセンスで提供され、OpenClaw、Codex、Claude Codeの3種類のエージェントを接続して生成と評価を実行できる
- チェック項目は専門家によって設計・審査されており、結果を項目ごとに追跡可能である
使い方
- コード:https://github.com/KlingAIResearch/LongBanana;数据:抱脸 KlingTeam/LongBanana(open_v1、open_v1p5の2バージョン)
- pip install -e . を実行後、python -m longbanana generate で生成、python -m longbanana judge で評価を行う。まず --dry-run オプションを追加して入力を確認し、API呼び出しを行わないこと
リスク
- これは評価とワークフローであり、新しいモデルではない。生成にはGemini 3.1 Flash Imageが固定で使用され、商用APIキーが必要であり、全量実行には費用がかかる
- READMEには、Bubblewrapサンドボックスがネットワークアクセスを制限しない旨の注意書きがある
- 評価は大規模言語モデルによるスコアリングに依存しており、評価モデルを変更した場合、スコアを直接比較することはできない
開く · コード · 抱きしめたい論文ページ