AI。使用赋能的导生图画生成技能日新月异,从前期模型会生成手指过多的成式t操成人类图画 ,到现在能创造出令人惊叹的控图传神视觉作用 。即便取得了如此腾跃 ,画生依然存在一个应战 :完成。使用构思 。导生掌控。成式t操成
运用文本创立场景变得更简单 ,控图不再需求杂乱的画生描绘,模型也改善了针对提示词的使用一致性。但仅通过文字描绘构图 、导生拍摄视点 、成式t操成物体摆放这些精密细节现已很不简单了,控图要修正调整更是画生难上加难 。尽管运用 ControlNet(通过更好地操控输出来增强图画生成的东西)的高档作业流供给了解决计划 ,但其设置杂乱,约束了更广泛的运用 。
为协助战胜这些应战并快速获取先进的 AI 功用 ,NVIDIA 在年头的 CES 展会上发布了面向 RTX PC 的NVIDIA 3D 引导生成式 AI Blueprint。这个示例作业流包括了全套东西,让你能从头开始生成彻底操控构图的图画。用户现在就可以体会这个全新的 Blueprint。
运用 3D 操控 AI 生成的图画。
NVIDIA 的3D 引导生成式 AI Blueprint可操控图画生成 ,它运用 Blender 中的 3D 场景草稿向图画生成器(Bl。ac。k Forest Labs 的 FLUX.1-dev)供给深度图 ,与用户的提示词一同生成所需的图画。
深度图协助图画模型了解物体应该怎么放置。这项技能的优势在于,它不需求高度细节化的物体或高质量纹路 ,因为它们将被转换为灰度。此外,因为场景是 3D 的,用户可以轻松移动物体并更改相机视点。
Blueprint 的底层是 ComfyUI ,这是一个功用强壮的东西 ,答应创造者以风趣的方法链接生成式 AI 模型。例如 ,用户可以通过 ComfyUI Node Editor Blender 插件将 Blender 衔接到 ComfyUI。此外 ,用户可以运用NVIDIA NIM 微服务在 GeForce RTX。 GPU。上布置 FLUX.1-dev 模型并以最佳功能运转 ,充分运用 NVIDIA。 Te。nsorRT 软件开发套件以及 FP4 和 FP8 等优化的精度格局 。3D 引导的生成式 AI Blueprint 需求 NVIDIA GeForce RTX 4080 及以上 GPU。
生成式 AI 作业流的预构建根底。
3D 引导的生成式 AI Blueprint 包括开始运用高档图画生成作业流所需的全部:Blender 、ComfyUI、衔接两者的 Blender 插件、FLUX.1-dev NIM 微服务以及运转该微服务所需的 ComfyUI 节点。关于 AI 艺术家,还顺便了装置程序和具体的布置阐明 。
该 Blueprint 选用一种结构化的方法来深化图画生成,供给了可根据特定需求量身定制的作业流。这套计划包括了手把手教程 、现成资料和开箱即用的环境装备,让你创造更轻松,作用更冷艳。
关于 AI。 开发者。 ,该 Blueprint 可以作为构建相似作业流或扩展现有作业流的根底。它顺便源代码 、示例数据、文档和入门作业示例 。
RTX AI 供给支撑的实时生成。
AI Blueprint 在 NVIDIA RTX AI PC 和作业站上运转,充分运用了 NVIDIA Blackwell 架构的最新功能打破。
3D 引导的生成式 AI Blueprint中包括的 FLUX.1-dev NIM 微服务通过 TensorRT 优化,并量化为 FP4 精度以适用于 Blackwell GPU,推理速度比原生 PyTorch FP16 提升了一倍以上 。
关于运用 NVIDIA。 Ad。a Lovelace 架构 GPU 的用户,FLUX.1-dev NIM 微服务顺便 FP8 精度 ,相同由 TensorRT 加快 。这些改善使高功能作业流更简单完成,然后可以进行快速迭代和试验。量化还有助于削减模型运转所需的显存 。运用 FP4 量化时,模型体积直接比 FP16 小了一半还多。
运用 RTX AI 进行定制和创立。
现在有 10 个 NIM 微服务可用于 RTX ,支撑从图画和文本生成到语音 AI 和 。计算机视觉。的用例 ,更多 Blueprint 和服务行将推出。
AI Blueprint 和 NIM 微服务现已推出,为预备在 RTX PC 和作业站上创立 、定制和打破生成式 AI 边界的用户供给了强壮的根底。