CoreWeave a déployé un cluster NVIDIA Vera Rubin NVL72 multi-racks sur CoreWeave Cloud, interconnectant des centaines de GPU Rubin dans un environnement unifié et évolutif optimisé pour les charges de travail d'IA agentiques. Chaque rack fabriqué par Dell contient 72 GPU Rubin et 36 CPU Vera, adoptant NVLink 6 comme tissu d'interconnexion d'extension, associé à deux SuperNIC ConnectX-9 par GPU. Les racks sont reliés via NVIDIA Spectrum-X Ethernet au sein d'une architecture non bloquante à deux niveaux, qui, selon CoreWeave, peut évoluer jusqu'à environ 128 000 GPU. CoreWeave est le premier fournisseur de cloud à avoir validé et activé avec succès un système Vera Rubin NVL72, et le premier à publier ses performances mesurées. Ses premiers résultats de benchmark évalués par des pairs ont été publiés la semaine dernière, basés sur une soumission GB300 NVL72. Parallèlement à la mise à niveau du calcul, CoreWeave AI Object Storage ajoute une accélération d'écriture inter-régions et une toute nouvelle classe Archive.

Architecture Multi-Rack NVIDIA Vera Rubin NVL72

Ce déploiement multi-racks cible les flux de travail d'exécution agentiques, où les boucles de raisonnement séquentielles et les appels d'outils externes amplifient la latence d'accès aux données sur une infrastructure distribuée. Les deux SuperNIC ConnectX-9 équipant chaque GPU Rubin fournissent jusqu'à 1,6 Tbit/s de bande passante réseau backend par GPU sur des liaisons multi-rails et multi-plans. L'architecture utilise une conception modulaire, permettant à de nouveaux racks NVL72 de rejoindre la même topologie non bloquante à mesure que la capacité augmente. Les racks fonctionnent avec un refroidissement liquide à 45°C.

CoreWeave unifie ces racks à l'aide de sa suite logicielle Mission Control. Un contrôleur de cycle de vie de rack gère le provisionnement et la gestion du cycle de vie des racks, y compris la détection matérielle via le flashage du firmware, la validation, la surveillance de l'alimentation et de la température. Le module de gestion de rack Racky contrôle l'alimentation et l'infrastructure, tandis que le contrôleur de refroidissement programmable Valvey offre une visibilité et une gestion définies par logiciel pour les circuits de refroidissement liquide et les capteurs environnementaux.

Les racks n'entrent en production qu'après des tests de validation par phases. Au niveau du nœud, cela comprend des heures de diagnostics GPU répétés, la vérification du transfert CPU-GPU, des tests de charge d'interconnexion et thermiques, ainsi que des charges de formation réalistes. Au niveau du rack, des tâches synchronisées sur les 72 GPU valident le débit GPU-à-GPU de NVLink ; tout matériel tombant en dessous des seuils de performance est envoyé pour dépannage. Pour la vérification inter-racks, CoreWeave exécute des charges de travail distribuées, désactivant délibérément NVLink pour forcer le trafic sur le réseau backend, et surveille l'architecture physique pour les liens instables, l'augmentation des taux d'erreur, les composants en surchauffe et le trafic déséquilibré. Les charges de test imitent les applications agentiques, présentant des pics de demande soudains, une concurrence variable et des modèles de communication intermittents.

Mises à jour de CoreWeave AI Object Storage : Écritures Inter-Régions et Classe Archive

L'amélioration du stockage s'appuie sur son Local Object Transport Accelerator (LOTA), un proxy de mise en cache déployé sur chaque nœud GPU et CPU au sein de CoreWeave Kubernetes Service, stockant les données d'objet sur des NVMe locaux au nœud. CoreWeave rapporte des lectures mises en cache atteignant jusqu'à 7 Go/s par GPU, avec une latence de lecture p99 plus de 8 fois inférieure à l'accès direct au bucket. Un fournisseur de modèles de premier plan utilise LOTA sur plus de 15 000 GPU et un cache de 20 Po, atteignant un taux de succès de 99,7 %, LOTA étant proposé sans frais supplémentaires.

L'accélération d'écriture inter-régions permet aux applications d'écrire dans un bucket d'une région distante avec une latence locale, sans modifier les API ou les SDK. Les applications envoient des écritures S3 standard au point d'extrémité LOTA ; les données d'objet sont stockées de manière persistante localement tandis que les métadonnées sont validées dans la région distante. L'objet devient instantanément lisible, même pour le travail d'écriture, et les données migrent vers la région distante en arrière-plan. Les applications voient un espace de noms de bucket unique couvrant toutes les régions avec des politiques IAM, des règles de cycle de vie et des contrôles d'accès cohérents, éliminant les buckets régionaux séparés et les pipelines de réplication généralement requis pour la distribution de points de contrôle inter-sites.

“Nos ensembles de données s'étendent sur plusieurs régions, et nous ne pouvons pas nous permettre que notre calendrier d'entraînement soit dicté par les retards de récupération inter-régions”, a déclaré Cécile Robert-Michon, directrice de l'infrastructure interne chez Cohere. “CoreWeave AI Object Storage nous offre une empreinte de données unifiée à travers les régions avec des lectures mises en cache localement, de sorte que rien n'attend sur le réseau.”

La classe Archive est la quatrième classe de stockage aux côtés de Hot, Warm et Cold, conçue pour les données écrites une fois, rarement lues, telles que les points de contrôle d'entraînement historiques et les ensembles de données bruts. Elle offre des prix de capacité de base plus bas et renonce aux frais de récupération, de cache, par requête, de suppression anticipée, de hiérarchisation et de sortie. CoreWeave recommande de conserver les points de contrôle récents sur des classes plus rapides pour des redémarrages rapides, avec une hiérarchisation automatique vers Archive après 60 jours sans lecture. Les écritures inter-régions et la classe Archive sont désormais généralement disponibles.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Directeur de la stratégie mondiale
WhatsApp / WeChat : +86 13426366826
E-mail : yangyd@qianxingdata.com
Site Web : www.qianxingdata.com/www.storagesserver.com
Focus commercial :
Distribution de produits TIC / Intégration de systèmes et services / Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous nous associons à des marques mondiales de premier plan pour fournir des produits fiables et des services professionnels.
“Utiliser la technologie pour construire un monde intelligent” Votre fournisseur de services de produits TIC de confiance !