엔비디아가 AI 어시스턴트를 통한 지포스 RTX AI PC를 구현했다.

 

엔비디아 (www.nvidia.co.kr, CEO 젠슨 황)는 새로운 엔비디아 RTX(NVIDIA RTX) 기술을 발표했다. 이는 새로운 AI 비서와 디지털 휴먼 기능을 지포스 GeForceRTXAI 노트북 에서 실행할 수 있도록 지원한다.

 

엔비디아는 PC 게임과 앱에서 맥락을 인식해 도움을 제공하는 RTX 기반 AI어시스턴트 기술 데모인 프로젝트 G-어시스트(Project G-Assist)를 공개했다. 프로젝트 G-어시스트 기술 데모는 스튜디오 와일드카드(Studio Wildcards)의 게임 ‘아크: 서바이벌 어센디드(ARK: Survival Ascended)’에서 처음 공개됐다. 또한 엔비디아는 엔비디아 ACE 디지털 휴먼 플랫폼을 위한 최초의 PC 기반 엔비디아 NIM 추론 마이크로서비스를 소개했다.

 

이러한 기술은 엔비디아 RTX AI 툴킷(RTX AI Toolkit)을 통해 구현됐다. 엔비디아 RTX AI 툴킷은 개발자들이 윈도우 PC에서 대규모 생성형 AI 모델을 최적화하고 배포할 수 있도록 지원하는 새로운 도구와 소프트웨어 개발 키트 모음이다. 이는 엔비디아의 RTX AI기술과 함께 500개 이상의 PC 애플리케이션과 게임, 200개 이상의 제조업체 노트북 디자인을 가속화하는 엔비디아의 풀스택 RTX 혁신에 추가된다.

 

또한 에이수스(ASUS)와 MSI에서 발표한 최신 RTX AI PC 노트북은 최대 지포스 RTX 4070 GPU까지 탑재하고 있으며, 전력 효율적인 시스템 온 칩(systems-on-a-chip, SoC)기술을 사용해 윈도우 11 AI PC 기능을 지원한다. 이러한 윈도우 11 AI PC는 코파일럿+(Copilot+) PC 환경으로 무료 업데이트를 받을 수 있다.

 

엔비디아 소비자 AI 부문 부사장 제이슨 폴(Jason Paul)은 “엔비디아는 2018년 RTX 텐서 코어(Tensor Core) GPU와 엔비디아 DLSS 기술을 출시해 AI PC 시대를 열었다. 이제 엔비디아는 프로젝트 G-어시스트와 엔비디아 ACE를 통해 1억 명 이상의 RTX AI PC 사용자를 위한 차세대 AI 기반 경험을 선사할 것”이라고 말했다.

 

게이머를 위한 지포스 AI 비서, 프로젝트 G-어시스트

 

AI 비서 기술은 게임 전략 제공, 멀티플레이어 리플레이 분석에서부터 복잡한 크리에이티브 워크플로우 지원에 이르기까지 게임과 앱 경험을 혁신적으로 변화시킬 것이다. 프로젝트 G-어시스트에서 이러한 미래를 엿볼 수 있다.

 

PC 게임에서는 방대한 세계를 탐험하고 복잡한 게임 메커니즘을 마스터해야 한다. 이는 도전적이고 시간이 많이 소요되는 작업이며, 가장 열정적인 게이머에게도 쉽지 않은 도전이다. 프로젝트 G-어시스트는 생성형 AI를 활용해 게이머가 손쉽게 게임 지식에 접근할 수 있도록 지원한다.

 

프로젝트 G-어시스트는 플레이어의 음성이나 텍스트 입력, 게임 화면의 상황 정보를 활용해 AI 비전 모델로 데이터를 처리한다. 이 모델은 게임 지식 데이터베이스에 연결된 거대 언어 모델(large language model, LLM)의 상황 인식과 특정 애플리케이션에 대한 이해도를 향상시킨다. 이후 텍스트나 음성으로 맞춤형 응답을 생성한다.

 

엔비디아는 ’아크: 서바이벌 어센디드’에 이 기술을 적용하기 위해 스튜디오 와일드카드와 협력했다. 프로젝트 G-어시스트는 크리처, 아이템, 스토리, 목표, 어려운 보스 전투 등에 대한 답변을 지원할 수 있다. 더불어 맥락을 인식해 플레이어가 겪고 있는 상황에 맞춘 응답을 제공한다.

 

프로젝트 G-어시스트는 플레이어의 게이밍 시스템을 최적의 성능과 효율로 최적화할 수 있다. 또한 성능 지표 분석, 사용자 하드웨어 사양에 맞춘 그래픽 설정 최적화, 안전한 오버클럭 적용이 가능하며 성능 목표를 유지하면서도 지능적으로 전력 소비를 줄일 수 있다.

 

ACE PC NIM 최초 공개

 

디지털 휴먼 구현을 위한 엔비디아 ACE 기술이 엔비디아 NIM이 탑재된 RTX AI PC와 워크스테이션에 도입된다. 엔비디아 NIM은 개발자의 배포 시간을 몇 주에서 몇 분으로 줄일 수 있게 지원하는 추론 마이크로서비스다. ACE NIM 마이크로서비스는 기기 내부에서 자연어 이해, 음성 합성, 페이셜 애니메이션 등을 위한 고품질 추론을 제공한다.

 

이번 컴퓨텍스(COMPUTEX)에서 엔비디아는 인월드 AI(Inworld AI)와 협력하여 개발된 코버트 프로토콜(Covert Protocol) 기술 데모를 통해 엔비디아 ACE NIM을 PC 게이밍에 처음 선보인다. 이 데모는 엔비디아 오디오투페이스(Audio2Face) 와 엔비디아 리바(Riva) 자동 음성 인식 기술이 기기에서 로컬로 실행되는 모습을 보여준다.

 

윈도우 코파일럿 런타임, 로컬 PC 소형 언어모델(SLM)에 GPU 가속 추가

 

엔비디아는 마이크로소프트(Microsoft)와 협력해 개발자가 네이티브 윈도우 운영체제와 웹 앱에 새로운 생성형 AI 기능을 도입할 수 있도록 지원하고 있다.. 이 협력으로 애플리케이션 개발자는 검색 증강 생성(retrieval-augmented generation, RAG) 기능을 지원하는 GPU 가속 소형 언어 모델(small language model, SLM)에쉽게 API(application programming interface)로 액세스할 수 있다. 이 기능들은 윈도우 코파일럿 런타임(Windows Copilot Runtime) 플랫폼의 일부로 장치 내에서 직접 실행된다.

 

SLM은 콘텐츠 요약, 콘텐츠 생성, 작업 자동화를 비롯해 윈도우 개발자에게 무한한 가능성을 제공한다. RAG 기능은 SLM에 추가돼 AI 모델에 기본 모델에서 잘 표현되지 않는 도메인 특화 정보에 대한 액세스를 제공한다. 개발자는 RAG API를 통해 애플리케이션 특화 데이터 소스를 효과적으로 활용하고 SLM 동작과 기능을 애플리케이션 요구 사항에 맞게 조정할 수 있다.

 

이러한 AI 기능은 엔비디아 RTX GPU와 다양한 하드웨어 공급업체의 AI 가속기를 통해 가속되며, 윈도우 생태계 전반에 걸쳐 사용자에게 빠르고 반응성 높은 AI 경험을 제공할 것이다.

 

API는 올해 말 개발자 프리뷰 형태로 출시될 예정이다.

 

RTX AI 툴킷으로 4배 빠르고 3배 작아진 AI 모델

 

AI 생태계는 앱 개발자가 활용할 수 있는 수많은 오픈소스 모델이 구축돼 있지만, 대부분의 모델은 범용 목적으로 사전 훈련됐으며 데이터 센터에서 실행되도록 설계됐다.

 

엔비디아는 개발자들이 PC에서 실행되는 애플리케이션 특화 AI 모델을 구축할 수 있도록 지원하는 RTX AI 툴킷을 출시한다. RTX AI 툴킷은 RTX AI PC에서 모델을 맞춤화, 최적화, 배포하기 위한 도구와 SDK 제품군으로 구성된다. 6월 말부터 더 많은 개발자가 RTX AI 툴킷을 활용할 수 있다.

 

개발자는 오픈 소스 QLoRa 도구를 사용해 사전 훈련된 모델을 맞춤화할 수 있다. 이후 엔비디아 텐서RT(TensorRT) 모델 옵티마이저로 모델을 정량화해 RAM 사용량을 최대 3배 절감할 수 있다. 엔비디아 텐서RT 클라우드(TensorRT Cloud)는 RTX GPU 라인업에 맞춰 모델을 최적화함으로써 최고 성능을 제공한다. 이는 사전 훈련된 모델에 비해 최대 4배 빠른 성능이다.

 

현재 얼리 액세스에서 사용할 수 있는 새로운 엔비디아 AI 추론 매니저(AI Inference Manager)는 PC에 ACE를 배포하는 과정을 단순화한다. 또한 필요한 AI 모델, 엔진, 종속성으로 PC를 사전 구성하는 동시에 PC와 클라우드 전반에서 AI 추론을 원활하게 조율한다.

 

어도비(Adobe), 블랙매직 디자인(Blackmagic Design), 토파즈(Topaz)와 같은 소프트웨어 파트너들은 RTX PC에서 AI 성능을 가속화하기 위해 RTX AI 툴킷의 구성 요소를 인기 있는 크리에이티브 앱에 통합하고 있다.

 

어도비 크리에이티브 클라우드 부문 제품 마케팅 부사장인 디파 수브라마니암(Deepa Subramaniam)은 “어도비와 엔비디아는 비디오, 이미징, 디자인, 3D 등 모든 창작 워크플로우에 걸쳐 혁신적인 고객 경험을 제공하기 위해 계속 협력하고 있다. RTX PC의 텐서RT 10.0은 크리에이터, 디자이너, 개발자에게 전례 없는 성능과 AI 기반 기능을 제공하며, 포토샵 등 업계 최고의 창작 도구에서 창의적인 콘텐츠 제작의 새로운 가능성을 열어줄 것”이라고 말했다.

 

텐서RT-LLM을 비롯한 RTX AI 툴킷의 구성 요소는 오토매틱1111(Automatic1111), 컴파이UI(ComfyUI), Jan.AI, 랭체인(LangChain), 라마인덱스(LamaIndex), 우바부가(Oobabooga), 생텀.AI(Sanctum.AI) 등 생성형 AI를 위한 인기 있는 개발자 프레임워크와 애플리케이션에 통합돼 있다.

 

콘텐츠 제작을 위한 AI

 

엔비디아는 RTX AI 가속을 크리에이터, 모더, 영상 애호가를 위한 애플리케이션에도 통합하고 있다.

 

작년, 엔비디아는 가장 인기 있는 스테이블 디퓨전(Stable Diffusion) 사용자 인터페이스 중 하나인 오토매틱1111에 텐서RT를 활용한 RTX 가속을 도입했다. 이번 주부터는 인기를 끌고 있는 컴파이UI에도 RTX 가속 기술을 도입, 현재 배포 중인 버전보다 최대 60% 향상되고 맥북 프로 M3 맥스(MacBook Pro M3 Max) 대비 7배 빠른 성능을 제공할 예정이다.

 

엔비디아 RTX 리믹스(RTX Remix)는 풀 레이 트레이싱, 엔비디아 DLSS 3.5, 물리적으로 정확한 머티리얼 등을 적용해 다이렉트X 8(DirectX 8)과 다이렉트X 9 기반 클래식 게임을 리마스터링할 수 있는 모딩 플랫폼이다. RTX 리믹스에는 런타임 렌더러와 RTX 리믹스 툴킷(RTX Remix Toolkit) 앱이 포함돼 게임 자산과 머티리얼을 쉽게 모딩할 수 있도록 지원한다..

 

작년, 엔비디아는 RTX 리믹스 런타임(RTX Remix Runtime)을 오픈소스로 공개해 모더가 게임 호환성을 확장하고 렌더링 기능을 향상시킬 수 있도록 했다.

 

올해 초 RTX 리믹스 툴킷 출시 이후 약 20,000명의 모더가 클래식 게임을 수정하는 데 이 툴킷을 사용했다. 그 결과 100개 이상의 RTX 리마스터가 RTX 리믹스 쇼케이스 디스코드(RTX Remix Showcase Discord)에서 개발 중에 있다.

 

2024년 6월 엔비디아는 RTX 리믹스 툴킷을 오픈 소스로 공개할 예정이다. 이로써 모더의 애셋 교체와 장면 조정 방식을 간소화하고, RTX 리믹스의 애셋 인제스터(ingester)가 지원하는 파일 형식을 늘리고, 새로운 모델을 통해 RTX 리믹스의 AI 텍스처 툴(AI Texture Tools)을 강화할 수 있도록 지원한다.

 

또한 REST API를 통해 RTX 리믹스 툴킷 기능에 액세스할 수 있도록 함으로써 모더가 블렌더(Blender) 등의 디지털 콘텐츠 제작 도구, 해머(Hammer) 등의 모더 도구, 컴파이UI등의 생성형 AI 앱에 RTX 리믹스를 연동할 수 있도록 지원한다. 더불어 RTX 리믹스의 렌더러를 다이렉트X 8, 다이렉트X 9 클래식 게임 외에도 다른 애플리케이션과 게임에 배포할 수 있도록 RTX 리믹스 런타임에 대한 SDK를 제공하고 있다.

 

RTX 리믹스 플랫폼을 오픈 소스화함에 따라 전 세계의 모더가 더욱 멋진 RTX 리마스터를 만들 수 있게 됐다.

 

엔비디아 RTX 비디오(RTX Video)가 이제 모든 개발자에게 SDK로 제공된다. 이로써 업스케일링, 선명도 향상(sharpening), 압축 아티팩트 제거, HDR(High-Dynamic Range) 변환을 위한 AI기술을 네이티브로 통합할 수 있게 됐다. 엔비디아 RTX 비디오는 구글 크롬(Google Chrome), 마이크로소프트 엣지(Microsoft Edge), 모질라 파이어폭스(Mozilla Firefox) 브라우저에서 지원되는 인기 있는 AI 기반 초해상도 기술이다.

 

RTX 비디오는 영상 편집 소프트웨어인 블랙매직 디자인의 다빈치 리졸브(DaVinci Resolve)와 원더쉐어 필모라(Wondershare Filmora)에 곧 도입될 예정이다. 이로서 영상 편집자는 저화질 비디오 파일 4K 해상도 업그레이드와 SDR(standard dynamic range) 소스 파일 HDR 변환을 지원받을 수 있다. 더불어 무료 미디어 플레이어 VLC 미디어도 곧 RTX 비디오 HDR을 기존 초고해상도 기능에 추가할 예정이다.