엔비디아가 유럽 AI 팩토리 구축을 위한 신규 기술 제품군을 공개했다.

 

엔비디아(www.nvidia.co.kr)가 비바테크(VivaTech)에서 열린 엔비디아 GTC 파리(NVIDIA GTC Paris)에서 AI 개발과 배포 과정에서 직면한 과제를 효과적으로 해결할 수 있도록 지원하는 새로운 기술 제품군을 공개했다.

 

유럽 연합은 현재 AI 분야에 2,000억 달러 이상을 투자하고 있다. 그러나 이러한 투자의 가치를 극대화하려면, 개발자들은 제한된 컴퓨팅 자원, 데이터 개인정보 보호 요구사항, 안전성 우선 순위라는 세 가지 핵심 제약을 해결해야 한다.

 

엔비디아가 이번에 공개한 도구들을 활용하면 기업들은 온프레미스 또는 클라우드에 확장 가능한 AI 팩토리를 구축함으로써, 안전하고 최적화된 소버린 AI 에이전트를 빠르게 생성할 수 있다.

 

확장된 엔비디아엔터프라이즈AI 팩토리(Enterprise AI Factory) 검증 설계는 엔비디아 블랙웰(Blackwell) 가속 인프라와 차세대 소프트웨어 스택을 결합해 소버린 AI를 위한 턴키 솔루션을 제공한다.

 

핵심은 기업이 다양한 개방형 거대 언어 모델(Large Language Model, LLM) 아키텍처를 위해 초고속 추론을 수행할 수 있도록 하는 새로운 NIM 기능이다. 이는 현재 허깅페이스(Hugging Face)에서 호스팅된 10만 개 이상의 공개형, 비공개형, 도메인 특화 모델 변형을 지원한다.

 

또한 여기에는 새로운 엔비디아 AI 블루프린트(AI Blueprint)와 개발자 예제가 추가됐다. 이는 개발자에게 강력한 안전성, 강화된 개인정보 보호, 지속적인 개선을 보장하면서 AI 에이전트를 개발하고 온보딩 절차를 간소화하는 방법을 안내한다.

 

새로운 도구를 통해 유럽 내 조직들은 성능, 제어력, 규정 준수를 저해하지 않으면서도 대규모 AI 팩토리를 구축하고, 배포하며, 운영할 수 있다. 새로운 도구들에는 AI-Q와 데이터플라이휠 (fywheel) 엔비디아 블루프린트, 엔비디아 네모(NeMo)를 사용한 AI 안전성 블루프린트 등이 포함된다.

 

현재 유럽의 주요 기업들은 이미 다양한 산업 분야에서 엔비디아 가속 AI 팩토리를 구축하고 있다. BNP 파리바(BNP Paribas)와 피난츠 인포르마틱(Finanz Informatik)을 포함한 유럽의 주요 금융사는 AI 팩토리를 확장해 금융 서비스 AI 에이전트를 운영함으로써 직원과 고객을 지원하고 있다. 로레알(L’Oreal)이 지원하는 스타트업 놀리(Noli)는 액센츄어(Accenture)와 협력해 AI 뷰티 매치메이커(AI Beauty Matchmaker) 기능을 구현하는 AI 리파이너리(AI Refinery)를 활용하고 있다. 아이큐비아(IQVIA)는 의료 서비스를 지원하기 위한 AI 에이전트를 개발하고 있다.

 

통신 업계에서는 BT 그룹(BT Group)이 서비스나우(ServiceNow)와 협력해 고객 서비스를 최적화하고 네트워크 이상 현상을 해결하고 있다. 텔레노어(Telenor)는 AI 팩토리를 사용해 자율적인 네트워크 구성에 필요한 엔비디아 AI 블루프린트를 활용 중이다.

 

엔터프라이즈 AI 팩토리로 AI 에이전트 개발 가속화

 

소버린 AI 에이전트를 구축하기 위한 첫 번째 단계는 모델 개발이다. 이는 종종 특정 사용 사례에 맞춘 지역 또는 기업 고유의 데이터를 활용해 구현된다. 이러한 모델을 훈련하고, 관리하며, 확장하기 위해서는 소버린 AI 개발자에게 AI 팩토리가 필요하다.

 

온프레미스 소버린 AI 인프라는 정부, 금융, 의료 서비스와 같은 규제 부문에서 특히 유용하다. 엔비디아 엔터프라이즈 AI 팩토리의 검증 설계는 이러한 산업들이 온프레미스 AI 팩토리를 기반으로 AI 애플리케이션을 빠르게 지원할 수 있도록 돕는다. 이때, 모든 하드웨어와 소프트웨어 계층은 최적화된 상태로 제공돼 손쉽게 확장 가능하다.

 

이 설계는 엔비디아 RTX PRO 서버를 포함하는 엔비디아 블랙웰 가속 컴퓨팅, 엔비디아 네트워킹, 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어를 특징으로 하며, 생성형 또는 에이전틱 AI 애플리케이션을 가속화한다.

 

여러 지역의 소프트웨어 제공업체들이 현재 이 검증 설계를 통합해 개발자들이 대규모로 엔터프라이즈 AI 에이전트를 구축하고 배포할 수 있도록 지원하고 있다. 여기에는 어댑티브 ML(Adaptive ML), 클리어ML(ClearML), 데이터루프(Dataloop), 딥체크(Deepchecks), 딥셋(deepset), 도미노 데이터 랩(Domino Data Labs), 엔터프라이즈DB(EnterpriseDB), 이과지오(Iguazio), 퀀티파이(Quantiphi), 테라데이타(Teradata), 위비에이트(Weaviate), 위즈(Wiz) 등이 포함된다.

 

엔터프라이즈 AI 팩토리는 에이아이올라(aiOla), 딥엘(DeepL), 엘라스틱(Elastic), 포토룸(Photoroom), 폴리AI(PolyAI), 쿼도(Qodo), 사나 랩스(Sana Labs), 탭나인(Tabnine), 씽크딥(ThinkDeep)과 같은 지역 파트너사의 소프트웨어와 함께 사용할 수 있다.

 

NIM, 엔비디아 인프라 전반에서 LLM 배포 가속화

 

AI 모델과 에이전트를 배포할 준비가 되면, 개발자는 엔비디아 NIM 마이크로서비스를 활용해 특정 언어와 도메인에 특화된 모델을 포함한 글로벌 LLM 제품군에서 가속화된 기업용 추론 기능을 실행할 수 있다.

 

NIM 마이크로서비스는 이제 허깅페이스에서 방대한 LLM 컬렉션을 지원한다. NIM은 엔비디아 텐서RT-LLM(TensorRT-LLM), SG랭(SGLang) 또는 vLLM과 같은 최적의 추론 엔진을 사용해 모델을 자동으로 최적화한다. 이를 통해 사용자는 몇 가지 간단한 명령어만으로 선호하는 LLM을 고성능 AI 추론을 위해, 엔비디아 가속 인프라 어디에서든 신속하게 배포할 수 있다.

 

허깅페이스 제품 부문 부사장 제프 부디에(Jeff Boudier)는 "NIM은 허깅페이스에서 제공되는 다양한 LLM을 엔비디아 GPU에서 손쉽게 배포할 수 있게 해준다. 허깅페이스 허브(Hugging Face Hub)에서 호스팅되는 10만 개 이상의 공개, 비공개 LLM을 지원함으로써, NIM은 엔터프라이즈 AI 에이전트가 개방형 모델의 성능과 다양성을 이용할 수 있도록 지원한다”고 말했다.

 

엔터프라이즈 모델 개발사와 소프트웨어 개발 도구 제작업체인 AI21 랩스(AI21 Labs), 드림 시큐리티(Dream Security), IBM, 젯브레인(JetBrains)을 비롯해 유럽의 연구, 혁신 조직인 바르셀로나 슈퍼컴퓨팅 센터(Barcelona Supercomputing Center BSC), 비엘릭.AI(Bielik.AI), UTTER 등이 현재 NIM 마이크로서비스로 제공되는 특화된 LLM 개발에 기여하고 있다.

 

이러한 최적화된 모델은 아랍어, 체코어, 네덜란드어, 독일어, 히브리어, 프랑스어, 폴란드어, 포르투갈어, 스페인어를 포함한 35개 지역 언어를 지원한다. 이를 통해 현지 언어와 문화적 이해를 갖춘 AI 에이전트를 구축하려는 개발자들에게 더 많은 선택지를 제공한다.

 

또한 엔비디아는 유럽의 여러 모델 개발사와 AI 컨소시엄과 협력해 엔비디아 네모트론(Nemotron) 기술을 활용함으로써 현지 모델을 최적화하고 있다.

 

더 똑똑하고 안전한 AI 에이전트를 위한 블루프린트

 

엔비디아는 개발자가 강력하고 안전한 AI 모델과 에이전트를 구축하고 온보딩할 수 있도록 따라하기 쉬운 블루프린트와 개발자 예제를 제공한다. 이 레퍼런스 설계를 통해 유럽의 개발자들은 독점 데이터를 연결하고, 안전 정책을 적용하며, 성능 최적화를 위한 지속적인 업데이트를 수행함으로써 지역의 요구에 맞는 모델과 에이전트를 구축할 수 있다.

 

AI-Q 엔비디아 블루프린트는 빠른 멀티모달 데이터 추출과 강력한 정보 검색 기능을 갖춘 에이전틱 시스템 개발을 위한 가이드를 제공한다. 여기에는 AI 에이전트를 평가하고 최적화하기 위한 오픈 소스 소프트웨어 라이브러리인 엔비디아 네모 에이전트(Agent) 툴킷이 포함된다.

 

네모 에이전트 툴킷은 에이전틱 AI 워크플로우에 인텔리전스를 부여하며, AI 에이전트를 도구에 연결하기 위한 MCP(Model Context Protocol)를 포함한 개방형 표준과 호환된다. 이 통합을 통해 MCP 서버가 제공하는 도구와의 상호 운용성이 가능해진다. 또한 네모 에이전트 툴킷은 크루AI(CrewAI), 랭체인(LangChain), 라마인덱스(LlamaIndex), 마이크로소프트 시맨틱 커널(Microsoft Semantic Kernel), 웨이츠 앤 바이어시스(Weights & Biases) 등의 에이전트 프레임워크와 통합된다.

 

AI-Q 블루프린트는 기업들이 다양한 데이터 소스를 사용해 조직의 특정 요구에 맞춰 인사이트를 제공하는 도메인 특화 AI 에이전트를 구축할 수 있는 기반을 제공한다. DDN, 델 테크놀로지스(Dell Technologies), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise, HPE), 히타치 밴타라(Hitachi Vantara), IBM, 넷앱(NetApp), 뉴타닉스(Nutanix), 퓨어 스토리지(Pure Storage), 바스트 데이터(VAST Data), 웨카(WEKA) 등 엔비디아 파트너들은 AI-Q를 사용해 데이터 플랫폼을 AI 에이전트에 연결하고 있다.

 

데이터 플라이휠 구축을 위한 엔비디아 AI 블루프린트는 기업이 시간에 따라 AI 에이전트를 개선할 수 있도록 지원한다. 여기에는 추론 데이터를 새로운 훈련과 평가 데이터세트로 전환하는 도구와 높은 정확도를 유지하면서도 최적화된 모델을 자동으로 표면화하는 도구가 포함된다.

 

엔비디아 AI 엔터프라이즈를 기반으로 구축된 이 블루프린트는 실제 운영 트래픽과 사용자 피드백을 수집해 재훈련, 재배포 파이프라인을 활성화하며 모델 성능을 향상시키는 지속적인 피드백 루프를 형성한다. 이는 모듈형 엔비디아 네모 마이크로서비스를 기반으로 구동되며, 온프레미스 또는 클라우드 등 가속화된 컴퓨팅 인프라 어디서든 유연하게 배포할 수 있다.

 

이 블루프린트는 기존 또는 신규 후보 모델을 평가해 더 작고 빠르면서도 정확도 면에서 더 크거나 동일한 성능을 내는 모델을 식별하고 배포할 수 있도록 도와준다. 이 도구를 통해 기업은 연산 효율성을 높이고 총소유비용을 절감해 더 가볍고 비용 효율적인 AI를 구현할 수 있다.

 

엔비디아 파트너인 바스트 데이터, 웨이츠 앤 바이어시스, 맥킨지(McKinsey) 산하 AI 플랫폼 회사 퀀텀블랙(QuantumBlack)에 인수된 이과지오는 데이터 플라이휠을 위한 AI 블루프린트를 기반으로, 자사의 소프트웨어 플랫폼에 고급 모니터링 기능 등 추가적인 기능을 통합하고 있다.

 

기업이 오픈 소스 모델을 안전하게 도입하는 데 도움이 되도록 에이전틱 AI 안전성 블루프린트는 콘텐츠, 보안, 개인정보 보호 차원에서 모델의 안전성을 평가하고 개선하기 위한 프레임워크를 제공할 예정이다.

 

이 블루프린트는 개발자들이 사후 훈련을 거쳐 모델을 프로덕션에 대비할 수 있도록 엔비디아가 선별한 데이터세트와 표준화된 평가 도구를 통해 안내한다. 또한, 탈옥(jailbreak), 프롬프트 인젝션, 유해 콘텐츠 등을 포함한 안전성과 취약성 지표도 제공한다. 이를 통해 기업들이 규정 준수나 신뢰성을 저하시키지 않고도 빠르게 모델을 가속화할 수 있도록 한다.

 

새로운 엔비디아 소프트웨어를 통합하는 글로벌 기업들

 

주요 글로벌 기업은들은 엔비디아 NIM 마이크로서비스와 블루프린트를 도입해 사이버 보안, 금융 서비스, 의료, 통신 등 다양한 분야에서 AI 워크플로우를 가속화하고 있다. 대표적인 기업으로는 액티브펜스(ActiveFence), 암독스(Amdocs), 시스코(Cisco), 클라우데라(Cloudera), 크라우드스트라이크(CrowdStrike), IBM, 아이큐비아, SAP, 서비스나우, 트랜드마이크로(Trend Micro) 등이 있다.

 

통신, 미디어 제공업체를 위한 소프트웨어, 서비스를 제공하는 암독스는 자사의 어메이즈 AI(amAIz AI) 제품과 서비스군의 일부로 엔비디아 네모와 엔비디아 NIM 마이크로서비스를 포함한 엔비디아 AI 엔터프라이즈를 사용하고 있다. 암독스는 엔비디아 AI 블루프린트를 사용해 거대 언어 모델 운영(LLMOps) 파이프라인에서 데이터 플라이휠 구축을 위한 엔비디아 AI 블루프린트를 활용해 효율적인 LLM 미세조정을 구현했다.

 

암독스는 콘텐츠 제작, 번역, 네트워크 자동화, 고객 서비스 지원용 AI 에이전트를 위해 더 많은 NIM 마이크로서비스를 통합할 계획이다.

 

캡제미니(Capgemini), 액센츄어, 딜로이트(Deloitte), EY, 인포시스(Infosys), 타타 컨설턴시 서비스(TATA Consultancy Services, TCS), 위프로(Wipro)와 같은 글로벌 시스템 통합 기업들도 풀스택 엔비디아 소프트웨어를 통해 기업의 AI 팩토리 구축을 지원하고 있다.