Оригинальное название: Any3R
Any3R выполняет реконструкцию сцены за один прямой проход из изображений, снятых любой центропроекционной камерой: обычная пинхол-камера, объектив с искажениями, рыбий глаз с углом обзора более 180°, панорама на 360°, а также их смешанное использование в одной сцене. Каждый ракурс описывается полем лучей (направление для каждого пикселя), модель предсказывает глубину вдоль лучей для каждого ракурса, позу камеры и объединенное облако точек. Статья, код и страница проекта опубликованы.
Почему это важно Для трехмерной реконструкции не нужно предварительно унифицировать типы объективов или выполнять коррекцию искажений; панорамные материалы и снимки с эффектом «рыбий глаз» можно использовать напрямую.
Лайков на Hugging Face: 2 · Рост рейтинга на Hugging Face: 2 · Загрузок на Hugging Face: 321
Лицензия: некоммерческая · ComfyUI: пока нет · Видеопамять: ≈3 ГБ (оценка)
Обоснование
- Рост в рейтинге image-to-3d на Hugging Face
- Оценка 27 (свежесть 5 / источник 5 / популярность 0 / comfy 0 / видеопамять 13 / демо 0 / лицензия 4)
Использование
- Клонируйте официальный репозиторий через git и выполните pip install -e ., загрузите модель с помощью Any3R.from_pretrained
Риски
- Некоммерческая исследовательская лицензия FAIR, коммерческое использование запрещено