Управляйте композицией AI-сгенерированных изображений с помощью NVIDIA AI Blueprint для 3D-направляемого генеративного ИИ
Генерация изображений на базе искусственного интеллекта прогрессировала с поразительной скоростью — от ранних примеров, когда модели создавали изображения людей с лишними пальцами, до сегодняшних поразительно фотореалистичных визуалов. Однако даже при таких скачках остаётся одна проблема: достижение творческого контроля.
Создание сцен с помощью текста стало проще и больше не требует сложных описаний — модели лучше соответствуют подсказкам. Но описывать более тонкие детали, такие как композиция, углы обзора и размещение объектов, только текстом трудно, а внесение изменений — ещё сложнее.
Продвинутые рабочие процессы с использованием ControlNets — инструментов, которые улучшают генерацию изображений за счёт повышения контроля над результатом — предлагают решения, но их сложная настройка ограничивает доступность.
Чтобы помочь преодолеть эти трудности и ускорить доступ к продвинутым возможностям ИИ, NVIDIA на выставке CES ранее в этом году представила NVIDIA AI Blueprint для 3D-направляемого генеративного ИИ для RTX ПК. Этот пример рабочего процесса включает всё необходимое для начала генерации изображений с полным контролем над композицией. Пользователи могут загрузить новый Blueprint уже сегодня.
Используйте 3D, чтобы управлять AI-сгенерированными изображениями
NVIDIA AI Blueprint для 3D-направляемого генеративного ИИ управляет генерацией изображений с помощью черновой 3D-сцены в Blender, которая предоставляет карту глубины генератору изображений — FLUX.1-dev от Black Forest Labs — который, вместе с текстовой подсказкой пользователя, генерирует нужные изображения.
Карта глубины помогает модели понять, где что должно быть размещено. Преимущество этой техники в том, что она не требует детализированных объектов или высококачественных текстур, так как всё преобразуется в градации серого. А поскольку сцены — в 3D, пользователи могут легко перемещать объекты и менять углы камеры.
В основе шаблона лежит ComfyUI — мощный инструмент, позволяющий создателям объединять модели генеративного ИИ интересными способами. Например, плагин ComfyUI для Blender позволяет соединить Blender с ComfyUI. Кроме того, микросервис NVIDIA NIM позволяет развернуть модель FLUX.1-dev и запускать её с максимальной производительностью на графических процессорах GeForce RTX, используя набор разработчика программного обеспечения NVIDIA TensorRT и оптимизированные форматы, такие как FP4 и FP8. AI Blueprint для 3D-направляемого генеративного ИИ требует видеокарту NVIDIA GeForce RTX 4080 или выше.
Готовая основа для генеративных AI Workflows
Шаблон для 3D-направляемого генеративного ИИ включает всё необходимое для начала работы с продвинутым рабочим процессом генерации изображений: Blender, ComfyUI, плагины для подключения Blender к ComfyUI, микросервис FLUX.1-dev NIM и нужные узлы ComfyUI для запуска.
Для AI-художников он также поставляется с установщиком и подробной инструкцией по развертыванию.
Шаблон предлагает структурированный способ погружения в генерацию изображений, предоставляя работающий конвейер, который можно адаптировать под конкретные задачи. Пошаговая документация, образцы ресурсов и предварительно настроенная среда создают прочную основу, делающую творческий процесс более управляемым, а результаты — более мощными.
Для разработчиков ИИ шаблон может стать основой для построения аналогичных конвейеров или расширения существующих. Он поставляется с исходным кодом, примерами данных, документацией и рабочим примером для начала.
Генерация в реальном времени с поддержкой RTX AI
AI Blueprints запускаются на NVIDIA RTX AI ПК и рабочих станциях, используя последние достижения в производительности от архитектуры NVIDIA Blackwell.
Микросервис FLUX.1-dev NIM, включённый в шаблон для 3D-направляемого генеративного ИИ, оптимизирован с помощью TensorRT и квантизирован до формата FP4 для GPU Blackwell, что обеспечивает более чем двукратное увеличение скорости вывода по сравнению с PyTorch FP16.
Для пользователей с графическими процессорами поколения NVIDIA Ada Lovelace микросервис FLUX.1-dev NIM поставляется с вариантами FP8, также ускоряемыми с помощью TensorRT. Эти улучшения делают высокопроизводительные рабочие процессы более доступными для быстрого прототипирования и экспериментов. Квантизация также помогает запускать модели с меньшим объемом видеопамяти. С FP4, например, размер моделей уменьшается более чем в 2 раза по сравнению с FP16.
Настраивайте и создавайте с RTX AI
В настоящее время доступно 10 микросервисов NIM для RTX, поддерживающих задачи от генерации изображений и текста до речевого ИИ и компьютерного зрения — и готовятся новые шаблоны и сервисы.
Доступные по адресу https://build.nvidia.com/nvidia/genai-3d-guided, AI Blueprints и микросервисы NIM предоставляют мощную основу для тех, кто готов создавать, настраивать и расширять границы генеративного ИИ на RTX ПК и рабочих станциях.
Каждую неделю в серии блогов RTX AI Garage публикуются ИИ-инновации и материалы от сообщества для тех, кто хочет узнать больше о микросервисах NIM и AI Blueprints, а также о создании ИИ-агентов, творческих воркфлоу, цифровых людей, продуктивных приложений и многого другого на ИИ-ПК и рабочих станциях.
