Исследователи Массачусетского технологического института представляют новую систему компьютерного зрения, которая превращает любой блестящий объект в своего рода камеру: позволяя наблюдателю видеть за углами или за препятствиями.

Ценную и часто скрытую информацию о ближайшем окружении человека можно получить из отражения предмета. Перепрофилировав их в камеры, можно совершать ранее невообразимые подвиги, например смотреть сквозь стены или в небо. Это сложная задача, поскольку на отражение влияет множество факторов, включая геометрию объекта, свойства материала, трехмерную среду и точку зрения наблюдателя. Деконструируя геометрию объекта и осветляя его изнутри за счет отраженного от него зеркального излучения, люди могут получить важные подсказки и выводы о скрытых частях окружающей среды.

Исследователи компьютерного зрения из Массачусетского технологического института и Райс разработали способ использования отражений для создания изображений реальной среды. Используя отражения, они превращают блестящие предметы в «камеры», создавая впечатление, что пользователь смотрит на мир через «линзы» обычных предметов, таких как керамическая кофейная чашка или металлическое пресс-папье.

Метод, который использовали исследователи, заключается в превращении ярких объектов неопределенной геометрии в камеры радиационного поля. Основная идея состоит в том, чтобы использовать поверхность объекта в качестве цифрового сенсора для регистрации света, отраженного от окружающей среды, в двух измерениях.

Исследователи объясняют, что синтез нового вида, представляя новые перспективы, которые непосредственно видны только яркому объекту в сцене, но не наблюдателю, благодаря восстановлению радиационных полей окружающей среды. Кроме того, мы можем представить аглодраты, генерируемые близлежащими объектами в сцене с использованием поля излучения. Метод, разработанный исследователями, изучается сквозным путем с использованием нескольких фотографий объекта для одновременной оценки его геометрии, рассеянного излучения и поля излучения его 5D-окружения.

Исследование направлено на то, чтобы отделить объект от его отражения, чтобы объект «видел» мир, как если бы он был камерой, и записывал свое окружение. Компьютерное зрение какое-то время боролось с отражениями, потому что они представляют собой искаженное 2D-представление 3D-сцены неизвестной формы.

Исследователи моделируют поверхность объекта как виртуальный датчик и собирают двухмерную проекцию поля излучения окружающей среды 5D вокруг объекта, чтобы создать трехмерное представление мира, как его видит объект. Большая часть поля излучения окружающей среды блокируется, за исключением отражений объекта. За пределами поля зрения синтезирование отображения романа или представление новых перспектив, которые непосредственно видны только яркому объекту в сцене, но не наблюдателю, становится возможным благодаря использованию полей излучения окружающей среды, которые также позволяют для оценки глубины и яркости от объекта до его окружения.

Вкратце, команда сделала следующее:

• Они показывают, как неявные поверхности можно превратить в виртуальные датчики с возможностью делать трехмерные изображения окружающей среды, используя только виртуальные конусы.
• Вместе они рассчитывают поле излучения, окружающее объект в 5D, и оценивают его рассеянное излучение.
• Они показывают, как использовать световое поле окружающей среды для создания новых перспектив, невидимых человеческому глазу.

Этот проект направлен на реконструкцию пятимерного радиационного поля океана по множеству фотографий яркого элемента неизвестной формы и альбедо. Блики от отражающих поверхностей выявляют элементы сцены за пределами поля зрения. В частности, правила поверхности и кривизна яркого объекта определяют, как изображения наблюдателя отображаются в реальном мире.

Исследователям может понадобиться более точная информация о форме отражаемого объекта или реальности, что способствует искажению. Цвет и текстура блестящего объекта также могут сливаться с отражениями. Более того, в отраженных сценах нелегко различить глубину, потому что отражения — это двумерные проекции трехмерной среды.

Команда исследователей преодолела эти препятствия. Они начинают с фотографирования блестящего объекта под разными углами, фиксируя различные отражения. Orca (Objects Like Radiance-Field Cameras) — это аббревиатура их трехэтапного процесса.

Orca может записывать многоракурсные отражения, отображая объект под разными углами, которые затем используются для оценки глубины между ярким объектом и другими объектами в сцене и формы самого яркого объекта. Более подробную информацию о силе и направлении световых лучей, исходящих из каждой точки изображения и попадающих в нее, можно получить с помощью 5D-модели радиационного поля ORCa. Orca может делать более точные оценки глубины благодаря данным в этом 5D поле излучения. Поскольку сцена визуализируется как 5D-поле излучения, а не как 2D-изображение, пользователь может видеть детали, которые были бы скрыты углами или другими препятствиями. Исследователи объясняют, что после того, как ORCa соберет поле 5D-излучения, пользователь может разместить виртуальную камеру в любом месте области и создать синтетическое изображение, которое будет производить камера. Пользователь также может изменить внешний вид предмета, например, с керамического на металлический, или включить в сцену виртуальные объекты.

Расширяя определение радиационного поля за пределы традиционного радиационного поля прямой видимости, исследователи могут открыть новые возможности для исследования окружающей среды и объектов в ней. Используя спроецированную виртуальную ширину и глубину, работа может открыть возможности для вставки виртуальных объектов и трехмерного восприятия, например, для экстраполяции информации из-за пределов поля зрения камеры.

сканировать бумага И Страница проекта. Не забудьте присоединиться 22k+ML Подписка RedditИ Дискорд-каналИ И Информационный бюллетень по электронной почте, где мы делимся последними новостями об исследованиях ИИ, крутыми проектами в области ИИ и многим другим. Если у вас есть какие-либо вопросы относительно статьи выше или если мы что-то пропустили, напишите нам по адресу [email protected]

🚀 Ознакомьтесь с инструментами искусственного интеллекта 100 в клубе инструментов искусственного интеллекта.