NVIDIA는 3D AI 블루프린트를 통해 아티스트들이 창작 작업을 쉽게 시작할 수 있도록 지원합니다. 이 블루프린트는 이미지 생성 시 물체 배치와 카메라 앵글 제어를 가능하게 하며, RTX GPU와 NIM 마이크로서비스에 최적화되어 고성능 생성 AI를 실행할 수 있습니다. ComfyUI와 연결된 이 워크플로우는 사용자가 원하는 대로 커스터마이즈할 수 있는 유연성을 제공합니다. NVIDIA의 노력을 통해 AI 기반 창작의 새로운 지평을 열고 있습니다.
(이미지 제공: NVIDIA)
RTX AI PC와 워크스테이션은 생성 AI를 실행하는 강력한 방법을 제공합니다. 이들은 극한의 성능을 제공하며, 최신 모델을 실행할 수 있게 하고, DLSS 4, RTX 비디오 또는 NVIDIA 방송 효과와 같은 애플리케이션을 개선하는 독특한 기능들도 함께 제공합니다.
하지만 생성 AI 사용을 시작하고자 하는 아티스트라면 학습 곡선이 존재합니다. 작업을 수행하기에 적합한 AI 모델을 찾아야 하고, 이를 워크플로우에 통합하는 방법을 찾아야 하며, 이상적으로는 하드웨어에서 효율적으로 실행해야 합니다. 이는 숙련된 창작자들에게도 많을 수 있으며, 이 분야의 빠른 혁신 속도 때문에 뒤처질 위험이 있습니다.
아티스트들이 AI 아트로의 여정을 시작하는 데 도움을 주기 위해, NVIDIA 3D 가이드 생성 AI 블루프린트는 즉시 사용할 수 있는 워킹 워크플로우와 필요에 따라 수정하고 적응할 수 있는 방법을 제공하는 것을 목표로 합니다.
이 AI 블루프린트 – 앞으로 더 많이 나타날 첫 번째인 – NVIDIA는 3D 장면을 사용해 이미지를 생성할 때 객체 배치와 카메라 앵글을 제어할 수 있는 방법을 보여줍니다. 이는 이미지 생성의 일반적인 문제로, 프롬프트를 통해 원하는 것에 가까운 결과를 얻을 수 있지만, 구성과 레이아웃을 정확히 맞추는 것은 매우 어려우며, 고급 컨트롤넷 없이는 세세한 수정이 거의 불가능합니다.
AI 블루프린트는 NVIDIA와 GeForce RTX GPU에서 사전 최적화되어 제공됩니다. AI 모델을 최대 성능으로 실행하는 데 필요한 모든 것을 포함한 NVIDIA NIM 마이크로서비스를 기반으로 구축되었습니다.
Watch On
3D AI 블루프린트가 제공하는 기능은 무엇인가?
현재 이미지를 생성하고자 한다면 가장 좋아하는 이미지 생성 모델을 사용해 프롬프트를 입력하기 시작할 수 있습니다. 최신 모델 세대와 함께라면 일반적으로 원하는 것에 꽤 가깝게 다가갈 수 있습니다. 하지만 이미지 내에서 어디에 생성되길 원했는지는 전혀 다른 이야기입니다. 프롬프트를 정교하게 하면서 더 가까이 접근하려는 시도는 고통스럽도록 느리며, 원하는 결과에 거의 도달하지 못합니다.
NVIDIA의 3D-가이드 생성 AI 블루프린트는 이미지에서 객체가 배치될 정확한 위치에 대한 제어를 제공합니다. 작동 방식은 다음과 같습니다. AI 블루프린트는 블렌더에서 작성된 3D 장면을 사용해 객체가 배치될 위치를 결정하여 이미지 생성을 가이드를 합니다. 3D 뷰포트는 깊이 맵으로 변환되며, 이는 이미지 생성기에 사용됩니다. 이 경우, 브래클 포레스트 랩에서 제공하는 FLUX.1-dev 모델이 사용자 프롬프트와 함께 원하는 이미지를 생성합니다.
3D 비전문가들을 위해, 깊이 맵은 이미지 모델이 사물이 어디로 가야 하는지를 이해하도록 돕습니다. 이 과정에서는 세밀한 객체나 고품질 텍스처가 필요하지 않습니다, 왜냐하면 깊이 맵이 그레이스케일이므로 세부 사항을 캡처하지 않기 때문입니다. 따라서 사용자는 스톡 객체를 사용하거나 3D 모델 생성기를 사용하여 장면을 빠르게 조립할 수 있습니다. 그리고 장면이 3D로 되어 있어 아티스트는 객체를 쉽게 이동하고 카메라 앵글을 변경할 수 있습니다.
(이미지 제공: NVIDIA)
이 워크플로우를 함께 구성하기 위해, NVIDIA는 ComfyUI를 사용해 생성 AI 파이프라인을 실행하고, ComfyUI 블렌더 플러그인을 사용하여 블렌더와 ComfyUI를 연결했습니다. 모델 자체는 브래클 포레스트 랩의 FLUX.1-dev와 FLUX.1-depth-dev 모델로, TensorRT와 FP4 양자화를 통해 RTX GPU에 최적화되어 있습니다. 그리고 NIM 마이크로서비스에서 최대 성능으로 작동합니다.
Watch On
이 AI 블루프린트를 더욱 개선하는 점은 설정 후 쉽게 실행할 수 있으며 원하는 만큼의 수정을 할 수 있다는 것입니다. 이는 다른 워크플로우에 생성 AI를 추가하는 시작점으로 사용할 수도 있습니다.
Watch On
이는 시작일 뿐입니다. 현재 10개의 NIM 마이크로서비스가 출시되어 있으며, 더 많은 NIM과 AI 블루프린트가 준비 중이니 지금이 생성 AI를 시작할 적기입니다. 최신 NVIDIA 블랙웰 GPUs가 이제 시작을 돕습니다.
새로운 도구들이 계속해서 나오고 있습니다. NIM 마이크로서비스를 통합하는 방법과 이와 같은 AI 블루프린트를 다운로드하는 방법에 대해 더 알고 싶다면 NVIDIA는 RTX AI Garage 캠페인을 도입했습니다. 디지털 휴먼과 AI 에이전트를 발견하고, AI를 활용한 새로운 생산성 앱 및 창의적 워크플로우에 대한 소식을 접하거나, 자신만의 AI 블루프린트를 시도할 수 있습니다. 또한, NVIDIA AI PC 뉴스는 TikTok, Facebook, Instagram, X에서 찾아볼 수 있기에 최신 AI 발전에 대한 정보를 얻고 있는 여정을 계속할 수 있습니다.
※출처: TechRadar
