Превращаем любую фотографию в реалистичную 3D-модель с помощью нейросетей

Еще недавно компьютеры с трудом обрабатывали готовые фотографии, а теперь они способны буквально штамповать картинки пачками. Что уж говорить про 3D-графику, которую раньше делали только на профессиональных системах, а сейчас десятки бесплатных нейросетей позволяют создавать практически блокбастеры, причем все это в рамках браузера. В том числе сейчас можно превратить любой объект на фотографии в трехмерную модель.

Как работает Seed3D от ByteDance

Китайский технологический гигант ByteDance, создатель TikTok, представил инструмент под названием Seed3D. Это нейросеть, которая превращает обычные двухмерные фотографии в фотореалистичные трехмерные модели. Новая технология обучена на огромных массивах данных, и, по заявлениям компании, превосходит существующие решения как по качеству текстур, так и по точности их геометрии.

Алгоритм работает в два этапа: сначала определяет форму и глубину объекта, а затем создает текстуры с привязкой к оригинальным точкам. Это позволяет добиваться идентичных размеров и форм при изменении ракурса, что важно для сфере дополненной и виртуальной реальности.

Meshy вместо Seed3D: модель из снимка без китайской симки

В компании отмечают, что новая система, имея всего около 1,5 млрд параметров, демонстрирует качество, сопоставимое или даже превосходящее решения с вдвое большим объемом. Так что созданные модели можно использовать не только для визуализации, но и в системах симуляции и для обучения искусственного интеллекта, который используется в VR. Убедиться в этом можно самостоятельно: для этого можно перейти на официальный сайт проекта и зарегистрироваться. Но для этого придется разжиться китайской симкой.

А если у вас нет зарубежного номера, предлагаем протестировать похожие возможности в другом сервисе под названием Meshy. Это тоже довольно мощная нейросеть, которая умеет не только конвертировать 2D-объекты в трехмерные модели, но и предлагает еще много чего полезного. Например, она также создает 3D по текстовому запросу, делает картинки и даже может сгенерировать видео с вашей 3D-моделью.

Попробовать все функции Meshy можно бесплатно, так как система каждый день насыпает бонусные монеты на счет. Нужно лишь зарегистрироваться на сайте, а после авторизации выбирать, что хотите сделать.

Нам нужен инструмент под названием «Изображение в 3D». Выбираем его, отправляем фото и ждем примерно минуту. Это обойдется в 20 золотых монеток (внутренняя валюта). На выходе получаем трехмерную модель (в нашем случае это собака породы Чау-чау).

Но это еще не все: для полноты картины нам нужно текстурировать модель, сделать ее цветной и реалистичной.

Результат, на самом деле, впечатляет. Так что появление подобных инструментов первой версии знаменует собой новую эру генеративных технологий. Ведь раньше для создания графического интерьера или 3D-объектов приходилось фотографировать объекты с нескольких сторон, затем все вручную перерисовывать в программе, а теперь у пользователей есть возможность быстро создавать реалистичные трехмерные объекты всего по одной фотографии. И для этого не нужен ни мощный компьютер, ни знания в соответствующей области. Это открывает перспективы для множества отраслей: от игр, кино и дизайна до робототехники и современной архитектуры.