오늘 출시된 NVIDIA Minerva는 팀들이 문제를 더 빨리 발견하고 AI 플랜트를 지속적으로 생산적으로 유지할 수 있도록 도와주는 AIOps 플랫폼입니다. 이 플랫폼은 인프라 및 AI 워크로드에서 얻은 텔레메트리를 통합한 뒤, 특별히 설계된 AI 모델을 적용하여 그 데이터를 즉시 실행 가능한 통찰력으로 변환합니다.
AI 공장은 세계에서 가장 복잡한 운영 체계 중 하나로, 수많은 GPU가 고속 네트워크를 통해 모델을 훈련하고 AI 애플리케이션을 제공합니다. 그러한 규모에서는 단 하나의 손상된 구성 요소가 전체 작업을 지연시킬 수 있습니다. 경고 신호는 쉽게 간과될 수 있는데, 예를 들어 GPU가 동급 제품보다 더 뜨거워지거나 NVMe 드라이브가 부하가 걸릴 때 성능이 저하되는 경우가 그에 해당합니다.
이 플랫폼은 AI 공장의 생산량에 중점을 둡니다. 이는 GPU 시간, 처리량, 클러스터 가동 시간 및 토큰 생산을 통해 인프라가 생성하는 유용한 작업의 수를 나타내는 지표입니다.
유럽에서 발표된 모든 NVIDIA 소식을 읽어보세요
AI 공장의 역동적인 관점을 전달하기
전통적인 모니터링 도구는 종종 데이터 센터를 개별적인 관점으로 나눕니다. 네트워킹, 컴퓨팅, 사이트 신뢰성, 머신러닝 팀은 각각 운영의 다른 부분을 볼 수 있습니다. Minerva는 NVIDIA GPU, 네트워킹, 스토리지, 스케줄러 및 워크로드를 통해 이러한 신호들을 연결합니다.
이러한 신호를 통해 미네르바는 동적 지식 그래프를 구축하여 인프라인 GPU, 슈퍼NIC, 스위치 및 케이블과 그 위에서 실행되는 작업을 논리적으로 매핑합니다. 이러한 맥락은 운영자들이 수십만 개의 GPU가 있는 공장에서도 느린 훈련 작업을 관련 부품까지 추적하는 데 도움을 줍니다.
시간당 수십억 개의 데이터 포인트를 분석하기 위해 감독형 및 비감독형 머신러닝을 사용합니다. 이 시스템은 정상적인 행동을 학습하고, 이전에 보지 못한 이상 현상을 탐지하며, 새로운 고장을 예측하고, 공장의 트로피오토를 기반으로 관련 사건들을 연관시킵니다. 모든 증상을 운영자에게 전달하는 대신, 사건 폭풍을 유력한 근본 원인이 있는 집중된 이벤트로 분류할 수 있습니다.
Minerva는 내장된 AI 어시스턴트와 함께 외부 에이지컬 AI 도구에 연결됩니다. 이를 통해 실시간 텔레메트리에 기반한 자연어 인터페이스가 제공됩니다. 운영자들은 클러스터의 상태를 조사할 수 있으며 대화를 통해 권장된 해결 방안을 받을 수 있습니다. 팀원들은 수동으로 수정 작업을 실행하거나 인프라 애플리케이션 프로그래밍 인터페이스와 외부 시스템을 통해 Minerva를 자동화에 연결할 수 있습니다.
AI 공장 생산량을 극대화하는 결과
워크로드와 인프라 문제를 에이전트형 AI 기능과 연계하여 관리할 수 있는 능력은 AI 공장 운영을 간소화하는 데 도움이 됩니다. 수많은 알림을 처리하는 대신, 미네르바는 관련 문제들을 하나의 실행 가능한 항목으로 통합합니다. 이로 인해 AIOps 팀은 반응적 유지보수에서 예방적 유지보수로 전환할 수 있습니다. 그리고 이 모든 것이 AI 공장이 GPU 가동 시간을 최대화하는 데 도움이 됩니다.
미네르바는 AI 공장이 중점적으로 집중하는 주요 지표에 대해 가치를 제공합니다:
- 중단 사이의 시간이 길어짐: 미네르바는 문제가 발생하기 전에 알아차리므로 작업이 문제 없이 더 오래 진행됩니다.
- 수리 시간 단축: 문제가 발생했을 때 미네르바는 원인을 즉시 파악하여 훨씬 빠른 해결이 가능합니다.
- 더 많은 통찰력: 현대 AI 인프라는 엄청난 양의 데이터를 생성하지만, 미네르바는 그 데이터를 걸러내어 실제로 중요한 몇 가지 알림만 남깁니다.
IREN은 Minerva를 사용하여 자체 AI 공장을 최적화하는 NVIDIA 파트너 중 하나입니다.
“우리가 AI 공장을 확장해 나가면서 고객에게 최상의 서비스를 제공하는 핵심은 GPU의 생산성을 극대화하는 것입니다”라고 IREN의 최고 기술 책임자인 데니스 스크린니코프는 말했습니다. “NVIDIA Minerva는 우리 운영 팀에게 네트워크, GPU 및 그 위에서 실행되는 작업을 한눈에 볼 수 있게 해주므로, 문제 해결보다는 예방적 유지보수에 더 집중할 수 있습니다. 이러한 가시성은 우리가 다음에 구축할 인프라를 위한 운영 모델을 강화합니다.”
IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI 및 Tesla가 Minerva를 배포할 계획입니다.
Dell Technologies 외에도, Lenovo 과 Supermicro는 Minerva를 자사의 AI 공장 운영 포트폴리오의 일부로 제공할 예정입니다.
더 알아보기 NVIDIA Minerva에 대해.
보기 공지 소프트웨어 제품 정보에 관한 내용.
유럽에서 발표된 모든 NVIDIA 소식을 읽어보세요