GR00T-Dreams 블루프린트는 휴머노이드 로봇의 추론 및 행동을 훈련하기 위한 데이터를 생성한다. 출처: NVIDIA

 

대만 타이베이에서 열린 컴퓨텍스(Computex)에서 엔비디아 는 휴머노이드로봇 추론 및 기술을 위한 개방적이고 일반화되며 사용자 정의 가능한 기반 모델의 첫 번째 업데이트인 아이작GR00T N1.5를 발표했다. 엔비디아는 합성 모션 데이터 생성을 위한 청사진인 아이작 GR00T-드림스(Isaac GR00T-Dreams)와 휴머노이드 개발을 가속화하기 위한 NVIDIA 블랙웰 시스템도 공개했다.

 

엔비디아 CEO인 젠슨 황(Jensen Huang)은 “물리적 AI와 로보틱스는 차세대 산업 혁명을 가져올 것이다. 로봇을 위한 AI 두뇌부터 연습을 위한 시뮬레이션 세계 또는 기초 모델 훈련을 위한 AI 슈퍼컴퓨터에 이르기까지, NVIDIA는 로보틱스 개발 여정의 모든 단계를 위한 구성 요소를 제공합니다”라고 말했다.

 

어질리티 로보틱스(Agility Robotics), 보스턴 다이내믹스(Boston Dynamics), 푸리에(Fourier), 폭스링크(Foxlink), 갈봇(Galbot), 멘티 로보틱스(Mentee Robotics), 뉴라 로보틱스(NEURA Robotics), 제너럴 로보틱스(General Robotics), 스킬드 AI(Skild AI), 엑스펭 로보틱스(XPENG Robotics) 등 휴머노이드 및 기타 로보틱스 개발사들은 휴머노이드 로봇 개발 및 배포를 진전시키기 위해 NVIDIA Isaac 플랫폼 기술을 채택하고 있다.

 

NVIDIA의 Omniverse 및 시뮬레이션 기술 부문 부사장인 레브 레바레디안(Rev Lebaredian)은 “피지컬 AI는 차세대 AI입니다. 피지컬 AI는 물리 법칙을 이해하고 센서 입력을 기반으로 동작을 생성할 수 있습니다. 피지컬 AI는 대만 파트너의 공장 및 창고와 같은 시설, 운송 로봇, (산업)로봇, 휴머노이드, 매니퓰레이터 및 AMR(자율 이동 로봇)의 세 가지 주요 유형의 로봇을 구현할 것입니다”라고 말했다.

 

NVIDIA Isaac GR00T 데이터 생성 청사진으로 데이터 격차 해소

 

컴퓨텍스(Computex) 기조연설에서 젠슨 황은 아이작 GR00T-드림즈(Isaac GR00T-Dreams)가 방대한 양의 합성 모션 데이터를 생성하는 데 도움이 될 수 있다고 말했다. 물리적 AI 개발자는 이러한 신경 궤적을 사용하여 변화하는 환경에 적응하는 방법을 포함하여 새로운 동작을 로봇에 가르칠 수 있다.

 

개발자는 먼저 로봇에 대한 Cosmos Predict WFM(세계 기초 모델)을 사후 학습할 수 있다. 그런 다음 GR00T-Dreams는 단일 이미지를 입력으로 사용하여 새로운 환경에서 새로운 작업을 수행하는 로봇의 비디오를 생성한다.

 

그런 다음 청사진은 로봇에게 이러한 새로운 작업을 수행하는 방법을 가르치는 데 사용되는 압축되고 소화 가능한 데이터 조각인 액션 토큰을 추출한다고 NVIDIA는 말했다. GR00T-Dreams 청사진은 지난 3월 GTC 컨퍼런스에서 공개된 Isaac GR00T-Mimic 청사진을 보완한다.

 

GR00T-Mimic은 NVIDIA Omniverse 및 Cosmos 플랫폼을 사용하여 기존 데이터를 보강하는 반면, GR00T-Dreams는 Cosmos를 사용하여 완전히 새로운 데이터를 생성한다.

 

새로운 모델은 휴머노이드 개발을 발전시킨다

 

NVIDIA Research는 GR00T-Dreams 블루프린트를 사용하여 합성 훈련 데이터를 생성하여 단 36시간 만에 GR00T N1(GR00T N1 업데이트)을 개발했다. 이에 비해 수동 인간 데이터 수집은 거의 3개월이 걸렸을 것이라고 말했다.

 

회사는 GR00T N1.5가 새로운 환경과 작업 공간 구성에 더 잘 적응할 수 있을 뿐만 아니라 사용자 지침을 통해 물체를 인식할 수 있다고 주장했다. 이 업데이트는 일반적인 자재 취급 및 물체 분류 또는 치우기와 같은 제조 작업에 대한 모델의 성공률을 크게 향상시킨다고 말했다.

 

GR00T N1.5는 올해 말 출시될 NVIDIA Jetson Thor 로봇 컴퓨터에 배포할 수 있다.

 

“GR00t N1.5는 새로운 Group Dreams Blueprint에서 생성된 합성 데이터로 훈련되었습니다. 로봇 개발의 가장 큰 과제는 데이터 격차입니다. LLM(Large Language Model) 개발자는 풍부한 데이터가 있기 때문에 모델을 쉽게 훈련할 수 있습니다. 그러나 로봇은 실제 데이터를 통해 학습해야 하며, 이를 캡처하는 데 비용과 시간이 많이 듭니다”라고 Lebaredian은 언론 브리핑에서 설명했다.."

 

“그러니 수동으로 캡처하는 대신, 로봇이 데이터를 꿈꾸게 하는 것은 어떨까요?” 그는 덧붙였다. “그룹 드림스(Group Dreams)는 허깅 페이스(Hugging Face)에 곧 출시될 오픈 월드 파운데이션 모델인 엔비디아 코스모스(NVIDIA Cosmos)를 기반으로 구축된 합성 데이터 생성 청사진입니다. 첫째, 개발자는 단일 환경에서 픽 앤 플레이스와 같은 단일 로봇 작업을 위해 캡처된 원격 운영 데이터를 사용하여 Cosmos Predict를 교육합니다.”

 

“사후 교육이 완료되면 개발자는 단일 이미지와 새로운 프롬프트를 사용하여 원래 이미지의 미래인 꿈을 생성할 수 있습니다. 개발자는 여기 사과 또는 여기 깡통과 같은 다른 항목을 선택하라는 메시지를 표시할 수 있습니다. 그런 다음 새로운 물리적 AI 추론 모델인 코스모스 이성(Cosmos Reason)에 의해 꿈을 평가하고 필터링한 다음 행동 및 궤적 데이터로 자동으로 레이블을 지정합니다”라고 Lebaredian은 말을 이었다.

 

GR00T N 모델의 얼리 어답터에는 AeiRobot, Foxlink, Lightwheel 및 NEURA Robotics가 포함된다. AeiRobot은 이 모델을 사용하여 ALICE4가 산업 환경에서 자연어 명령을 이해하고 복잡한 픽 앤 플레이스 워크플로를 실행할 수 있도록 한다.

 

Foxlink Group은 이를 사용하여 산업용 로봇 매니퓰레이터의 유연성과 효율성을 개선하고 있으며, Lightwheel은 공장에서 더 빠른 휴머노이드 로봇 배포를 위해 합성 데이터를 검증하는 데 이를 활용하고 있다. 뉴라 로보틱스(NEURA Robotics)는 가정용 자동화 시스템 개발을 가속화하기 위해 이 모델을 평가하고 있다.

 

시뮬레이션 및 데이터 생성 프레임워크는 로봇 교육을 가속화한다

 

고도로 숙련된 휴머노이드 로봇을 개발하려면 방대한 양의 다양한 데이터가 필요하며, 이를 캡처하고 처리하는 데 비용이 많이 든다고 NVIDIA는 지적했다. 로봇은 실제 세계에서 테스트해야 하며, 이로 인해 비용과 위험이 발생할 수 있다.

 

데이터 및 테스트 격차를 줄이기 위해 NVIDIA는 다음과 같은 시뮬레이션 기술을 공개했다.

 

연쇄 추론을 사용하여 물리적 AI 모드훈련을 위한 정확한 고품질 합성 데이터를 큐레이팅하는 데 도움이 되는 새로운 WFM인 NVIDIA Cosmos Reason을 이제 허깅 페이스에서 사용할 수 있다.

GR00T-Dreams에 사용된 Cosmos Predict 2가 곧 허깅 페이스(Hugging Face)에 출시될 예정이며, 고품질 세계 생성을 위한 성능 향상과 환각 감소를 특징으로 한다.

NVIDIA Isaac GR00T-Mimic은 몇 번의 인간 시연을 사용하여 로봇 조작을 위한 기하급수적으로 많은 양의 합성 모션 궤적을 생성하기 위한 청사진이다.

오픈 소스 물리적 AI 데이터 세트에는 현재 GR00T N 모델을 개발하는 데 사용되는 24,000개의 고품질 휴머노이드 로봇 모션 궤적이 포함되어 있다.

시뮬레이션 및 합성 데이터 생성 프레임워크인 NVIDIA Isaac Sim 5.0이 곧 깃허브(GitHub)에서 공개될 예정이다.

오픈 소스 로봇 학습 프레임워크인 NVIDIA Isaac Lab 2.2는 개발자가 GR00T N 모델을 테스트하는 데 도움이 되는 새로운 평가 환경을 지원한다.

Lebaredian은 GR00T N1.5가 개발 속도를 높일 수 있는 방법을 다음과 같이 피력했다. “개발자들은 이러한 꿈을 사용하여 훈련 데이터를 대량으로 늘리고, 모델 성능을 개선하고, 원격 운영 데이터를 수동으로 캡처할 필요성을 20배 줄입니다. 우리 연구팀은 인간이 수동으로 캡처하는 데 3개월이 걸렸을 Dreams Universe를 36시간 만에 생성하여 GR00T N1.5를 훈련했습니다.”

 

개발자가 RTX PRO 6000, 합성 데이터 생성 및 시뮬레이션을 사용하여 휴머노이드 외에 다른 로봇을 만들 수 있나?

 

“근본적으로, 휴머노이드 로봇이 무엇인지 생각해보면, 그것은 다른 많은 유형의 로봇의 상위 집합입니다. 그것은 운동성을 가지고 있습니다. AMR처럼 움직일 수 있습니다. 로봇 매니퓰레이터처럼 제자리에 고정할 수 있는 팔이 있습니다”라고 Lebaredian은 대답했다.

 

“우리가 휴머노이드에 초점을 맞추는 이유 중 하나는 휴머노이드 문제를 해결할 수 있다면 로봇 공학의 다른 모든 문제는 거기에서 자연스럽게 빠져나오기 때문입니다. "따라서 우리가 합성 데이터를 생성한 다음 테스트하는 데 사용하는 것과 동일한 프로세스가 모든 유형의 로봇에 적용됩니다. 우리는 휴머노이드 로봇의 사용 사례가 많고 데이터가 크게 부족하다는 것을 알고 있습니다.”

 

폭스콘(Foxconn)과 폭스링크(Foxlink)는 로봇 공학 훈련 파이프라인을 가속화하기 위해 합성 모션 조작 생성을 위한 GR00T-Mimic 청사진을 사용하고 있다. 어질리티 로보틱스(Agility Robotics), 보스턴 다이내믹스(Boston Dynamics), 푸리에(Fourier), 멘티 로보틱스(Mentee Robotics), 뉴라 로보틱스(NEURA Robotics), 엑스펭 로보틱스(XPENG Robotics)는 아이작 심(Isaac Sim)과 아이작 랩(Isaac Lab)을 사용해 휴머노이드를 시뮬레이션하고 훈련하고 있다.

 

Skild AI는 시뮬레이션 프레임워크를 사용하여 일반 로봇 인텔리전스를 개발하고 있으며, General Robotics는 이를 로봇 인텔리전스 플랫폼에 통합하고 있다.

 

폭스콘(Foxconn)의 협업 간호 로봇은 엔비디아(NVIDIA) 기술을 사용해 개발된 스마트 병원 애플리케이션의 한 예입니다. 출처: Foxconn

 

로봇 개발자가 사용할 수 있는 NVIDIA Blackwell 시스템

 

글로벌 시스템 제조업체들은 NVIDIA RTX PRO 6000 워크스테이션과 서버를 구축하고 있다. NVIDIA는 훈련, 합성 데이터 생성, 로봇 학습 및 시뮬레이션 전반에 걸쳐 로봇 개발 워크로드를 쉽게 실행할 수 있는 단일 아키텍처를 제공한다고 말했다. 이는 폭스콘과 같은 파트너와 함께 'AI 공장'을 만드는 전략의 일환이다.

 

시스코(Cisco), 델 테크놀로지스(Dell Technologies), 휴렛팩커드 엔터프라이즈(Hewlett-Packard Enterprise), 레노버(Lenovo), 슈퍼마이크로(Supermicro)는 양자 컴퓨팅 연구와 같은 분야에 사용될 RTX PRO 6000 블랙웰 기반 서버를 발표했다. 한편, 델 테크놀로지스(Dell Technologies), HPI, 레노버(Lenovo)는 NVIDIA RTX PRO 6000 워크스테이션을 발표했다.

 

NVIDIA는 대규모 훈련이나 데이터 생성 워크로드를 실행하기 위해 더 많은 컴퓨팅이 필요한 경우 개발자는 주요 클라우드 제공업체와 NVIDIA Cloud 파트너에서 NVIDIA DGX Cloud와 함께 사용할 수 있는 GB200 NVL72와 같은 Blackwell 시스템을 활용하여 데이터 처리 성능을 최대 18배 더 높일 수 있다고 말했다. 개발자는 곧 출시될 NVIDIA Jetson AGX Thor에 모델을 배포하여 로봇의 추론 및 런타임을 가속화할 수 있다.

 

개발자는 로봇 파운데이션 모델을 Jetson Thor 플랫폼에 배포할 수 있다. 이 회사는 또한 로봇 추론 및 런타임 성능을 가속화하기 위해 곧 출시될 것이라고 말했다.

 

NVIDIA는 또한 다음과 같이 발표했다.

 

•AIST의 ABCI-Q는 일본의 양자 컴퓨팅 전용 연구용 슈퍼컴퓨터이며, 대만의 연구 및 제조 협력

•컴퓨팅 마켓플레이스를 갖춘 DGX Cloud Lepton AI 플랫폼

•DGX "AI 우선" 퍼스널 컴퓨팅 시스템

•전력 효율적인 에지, 통신 및 스토리지 배포를 위한 Gtace CPU C1 단일 소켓 CPI

•NVIDIA Metropolis 플랫폼을 기반으로 하는 VSS(Video Search and Summarization)를 위한 AI Blueprint 출시

•NVLink Fusion은 업계가 인기 있는 NVIDIA NVLink 컴퓨팅 패브릭을 사용하여 파트너 에코시스템과 함께 반맞춤형 AI 인프라를 구축할 수 있도록 하는 새로운 실리콘이다.