Omni-Woodpecker: Hallucination Correction via Evidence-Prior Rebalancing for Omni LLMs

免训练地纠正全模态（音频 + 视频）大模型的跨模态幻觉，例如听到鸡叫就说画面里有公鸡、看到画面就否认有人在说话：先判断问题需要哪种模态、哪种模态在干扰，再用正交分解把隐状态里的证据和先验分开，解码前压低误导性先验、补回被忽略的证据，不改任何模型参数。 点赞 21 · 代码星数 100 **理由** - 作者称以 Qwen2.5-Omni-7B 为骨干时 CMM 提升 12.9 分、AVHBench 提升 8.6 分，在 4 个通用全模态推理基准上也有 0.67–2.25 分的小幅提升；换到 VideoLLaMA2-AV 上分别提升 4.6 和 3.9 分。 - 不需要训练或额外数据，接在现成的 7B 级全模态模型上就能用；README 称单次运行是 4 次诊断前向加 1 次修改后的前向，干预系数都在 configs/owp\_default.json。 **用法** - 代码：github.com/ZiiJianLiu/Omni-Woodpecker（MIT）；conda 建 Python 3.10 环境，pip install -r requirements.txt && pip install -e . - 推理：python src/owp\_infer.py --input sample\_data/owp\_input.jsonl --output results/owp\_output.jsonl --model videollama2（或 --model qwen）；仓库自带 3 条 CMM 示例和素材，克隆后即可跑。也可用 Python 接口 from owp import correct。 - 骨干权重首次使用时从抱脸下载；README 要求 BF16 下至少 24 GB 显存，不支持 BF16 时加 --dtype float16。 **风险** - 输入格式只接受“是 / 否”问题加视频或音频路径，开放式问答和长回答未覆盖。 - 每次回答要多跑 4 次前向，推理开销明显增加；只支持仓库适配的两个骨干，数字均为作者报告。 [打开](https://arxiv.org/abs/2610.27103) · [代码](https://github.com/ZiiJianLiu/Omni-Woodpecker) · [抱脸论文页](https://huggingface.co/papers/2610.27103)