원제: LongBanana: An Expert-Verified Benchmark for Long-Context Multi-Reference Image Synthesis
에이전트 기반 이미지 생성은 종종 많은 참조 이미지에서 자료를 가져와야 하지만, 기존 평가는 대부분 이미지의 합리성만 확인합니다. LongBanana는 전문가가 설계한 90개의 작업으로 구성되며, 각 작업은 약 32장의 참조 이미지, 20개의 제약 조건, 50개의 체크 항목을 포함합니다. 엔티티 관계 그래프를 사용하여 요구 사항을 개별적으로 검증 가능한 체크리스트로 분해하고, 콘텐츠 충실도, 관계 바인딩, 전역 제약 조건 세 가지 측면에서 점수를 매깁니다. 또한 LongBanana-Gen 에이전트 생성 프레임워크가 함께 제공됩니다. 저자들은 전문가 이중 표기 하위 집합의 일치율이 89.4%라고 주장하며, 가장 간단한 에이전트 파이프라인만 추가해도 직접 생성보다 성능이 향상되고, ReAct-계획-실행-반성(RPR) 파이프라인의 개선 정도는 사용된 프레임워크에 따라 달라진다고 보고했습니다.
왜 중요한가 에이전트 기반 이미지 생성이 점점 더 보편화되고 있으며, 이 체크리스트 기반 평가는 참조 이미지의 내용이 올바르게 사용되었는지 항목별로 확인할 수 있습니다
좋아요 28 · 코드 스타 수 2
이유
- 다중 참조 이미지 합성 특화: 분산된 증거 검색, 방해 이미지 제외, 엔티티 및 관계의 올바른 바인딩은 단일 화질 점수로는 측정할 수 없습니다
- 코드는 MIT, 데이터는 CC BY 4.0 라이선스이며, OpenClaw, Codex, Claude Code 세 가지 에이전트를 연결하여 생성 및 심사를 수행할 수 있습니다
- 체크 항목은 전문가가 설계하고 검토했으므로 결과를 항목별로 추적할 수 있습니다
사용법
- 코드: https://github.com/KlingAIResearch/LongBanana;数据:抱脸 KlingTeam/LongBanana (open_v1, open_v1p5 두 버전)
- pip install -e . 실행 후 python -m longbanana generate로 생성, python -m longbanana judge로 심사; 먼저 --dry-run을 추가하여 API를 호출하지 않고 입력을 확인하세요
리스크
- 이는 평가 및 워크플로우이며 새로운 모델이 아닙니다; 생성에는 Gemini 3.1 Flash Image가 고정으로 사용되며, 상용 API 키가 필요하고 전체 실행 시 비용이 발생합니다
- README에서 Bubblewrap 샌드박스가 네트워크 접근을 제한하지 않는다고 경고합니다
- 심사는 대규모 모델의 점수 매기기에 의존하므로, 심사 모델을 변경하면 점수를 직접 비교할 수 없습니다
열기 · 코드 · Hugging Face 논문 페이지