Latte3D: революционный ИИ NVIDIA для мгновенного создания моделей преобразования текста в 3D

27 марта 2024 года Xpiens узнал, что NVIDIA объявила о запуске модели искусственного интеллекта Latte3D, способной преобразовывать краткие текстовые описания в точные трехмерные модели объектов и животных.

Этот прорыв сродни виртуальной 3D-печати, где сгенерированные 3D-формы создаются в популярных стандартных форматах приложений для рендеринга, что упрощает их применение в виртуальных средах.

Технология готова к широкому использованию при разработке видеоигр, рекламном дизайне, инженерных проектах и ​​сценариях виртуального обучения роботов, что сигнализирует о будущем, в котором могут появиться надежные инструменты для преобразования текста в 3D.

Санджа Фидлер, вице-президент NVIDIA по исследованиям в области искусственного интеллекта, заявила: «Год назад моделям искусственного интеллекта требовался час для создания 3D-изображений такого качества, но с Latte3D это занимает всего 10–12 секунд. Теперь мы можем получать результаты намного быстрее. , что позволяет авторам из различных отраслей добиться преобразования текста в 3D практически в реальном времени».

Исследователи NVIDIA продемонстрировали, что с помощью одного графического процессора RTX A6000 трехмерные фигуры можно создавать практически мгновенно.

Теперь создатели могут мгновенно создавать детализированные объекты с помощью LATTE3D, избавляя их от необходимости начинать с нуля или просматривать библиотеки 3D-ресурсов. Модель предлагает несколько различных вариантов трехмерной формы для каждой текстовой подсказки, при этом выбранные объекты оптимизируются для более высокого качества в течение нескольких минут.

Затем пользователи могут экспортировать эти формы в графические программные приложения или платформы, такие как NVIDIA Omniverse, что упрощает рабочие процессы и приложения 3D на основе универсального описания сцены (OpenUSD).

Хотя LATTE3D обучался на наборах данных о животных и предметах повседневного обихода, разработчики могут обучать другие типы данных, используя ту же архитектуру модели. Например, версия LATTE3D, обученная на наборе 3D-данных о растениях, может помочь ландшафтным дизайнерам быстро заполнить визуальные эффекты сада деревьями, клумбами и суккулентами во время мозгового штурма с клиентами.

Аналогичным образом, если модель будет обучена на предметах домашнего обихода, она сможет генерировать предметы для заполнения 3D-моделированных домов, помогая разработчикам обучать личных роботов-помощников перед их тестированием и внедрением в реальном мире.

LATTE3D обучалась с использованием графических процессоров NVIDIA A100 с тензорным ядром, а также с использованием различных текстовых подсказок, сгенерированных ChatGPT, чтобы улучшить способность модели обрабатывать различные фразы, которые пользователи могут использовать для описания конкретных 3D-объектов.

Например, подсказки, связанные с собаками, должны создавать формы, похожие на собаки.

Подпишитесь на Xpiens, чтобы узнавать больше о последних новостях индустрии 3D-печати.