Any3R:任意相机拍摄的照片均可通过单次前向传播重建 3D

Any3R は、任意の中心投影カメラで撮影された画像から、1回のフォワード計算でシーンを再構築します。通常のピンホールカメラ、歪みのあるレンズ、180° を超える魚眼レンズ、360° のパノラマビュー、そしてこれらが同一シーン内で混在する場合にも対応しています。各視点については、ライトフィールド(ピクセルごとの方向)を用いて記述され、モデルは各視点における光線に沿った深度、カメラの姿勢、および融合された点群を予測します。論文、コード、プロジェクトページはすでに公開されています。

原题:Any3R

Any3R は、任意の中心投影カメラで撮影された画像から、1回のフォワード計算のみでシーンを再構築します。通常のピンホールカメラ、歪みのあるレンズ、180°を超える魚眼レンズ、360°のパノラマ、そしてこれらが同一シーン内で混在する場合にも対応しています。各ビューはライトフィールド(ピクセルごとの方向)で記述され、モデルは各ビューにおいて光線に沿った深度、カメラの姿勢、および融合された点群を予測します。論文、コード、プロジェクトページはすでに公開されています。

なぜ重要か 3D再構築を行う際に、事前にカメラの種類を統一したり歪み補正を行ったりする必要がなく、パノラマやフィッシュアイの素材もそのまま利用できます。

Hugging Face 点赞数 2 · Hugging Face 上升排名分数 2 · Hugging Face 下载量 321

许可证:非商用 · ComfyUI:暂无 · 显存需求:约 3 GB(估算值)

理由

  • Hugging Face image-to-3d 上升排行榜
  • 评分 27(新鲜度 5 / 来源 5 / 热度 0 / ComfyUI 支持 0 / 显存需求 13 / 演示 0 / 许可证 4)

用法

  • git clone 官方仓库并执行 pip install -e .,使用 Any3R.from_pretrained 加载模型

风险

  • FAIR 非商用研究许可证,不可用于商业用途

打开

抱脸 image-to-3d 上升榜

最新の AI ニュースを見る