Huawei a annoncé l'OceanStor M900, un cluster de stockage flash à grande échelle offrant jusqu'à 64 PB de cache KV pour ses SuperPoD Atlas 960.Accélérateurs d'IA à l'échelle du rack comparables aux SuperPOD de Nvidia.
Nvidia a défini une conception de référence intégrant ses GPU, NIC BlueField, commutateurs Spectrum-X et logiciels IA avec des systèmes de stockage, prenant en charge GPUDirect, RDMA,et l'extension de la mémoire cache KV via son logiciel Dynamo et son système CMXCette architecture à plusieurs niveaux utilise la mémoire haute bande passante (HBM) du GPU comme le niveau supérieur le plus rapide, suivie par les serveurs X86 associés, la DRAM comme niveau 2, les SSD locaux du serveur comme L3,et des SSD NVMe intelligents BlueField-4 NIC connectés dans un serveur de stockage flash servant de L3.5. Ceux-ci peuvent atteindre un GPU HBM en un seul saut de réseau avec une latence de classe microseconde.
Huawei défie maintenant la conception de SuperPOD de Nvidia avec ses propres SuperPoD construits pour les centres de données d'IA hyperscale.ce qui signifie qu'une seule mémoire d'accélérateur à large bande passante ne peut pas contenir tous les jetons de valeur clé requis, nécessitant un mécanisme de mise en cache.
La société affirme qu'un Atlas 960E SuperPoD peut évoluer jusqu'à 4 096 NPU (Neural Processing Units), offrant 8 EFLOPS de performance de calcul FP8,jusqu'à 1 pétaoctet de capacité HBM et un pool de mémoire unifié de 256 ToLe déploiement de 5 500 unités Hi-ONE équipées de l'UnifiedBus (NPO) réduit la consommation d'énergie de plus de 550 kilowatts par rapport aux 48 000 modules optiques 800G traditionnellement nécessaires pour interconnecter tous les NPU.Il double également le temps de fonctionnement sans défaut du système et atteint 99 heures.0,8% de disponibilité du système.
Huawei OceanStor M900
Le SuperPoD adopte un cadre de mise en cache KV à plusieurs niveaux, où le M900 fournit un cache KV à l'échelle des pétaoctets pour la couche L3.5.Capacité de cache de 5 KV et bande passante globale de 40 TB/sec sur les réseaux optiques pour ce niveau, fournissant plusieurs téraoctets de capacité de cache KV par NPU.Cette architecture double le débit de jeton du cluster d'inférence et réduit de moitié le temps jusqu'au premier jeton (TTFT).
La société note que la bande passante de 40 TB/sec est 1,5 fois supérieure à celle des solutions concurrentes, sans nommer explicitement les fournisseurs.Systèmes de données MinIO et VAST dont la bande passante de cluster varie entre 10 ‰ et 25 TB/sec.
Le M900 est doté d'une conception intégrée combinant CPU, contrôleur réseau et contrôleur NAND dans une seule unité, permettant aux NPU SuperPoD d'établir une connexion directe et unique aux disques SSD.Cela réduit la latence d'accès de millisecondes à environ 60 microsecondes.
David Wang, vice-président du conseil d'administration et président tournant de Huawei, a déclaré: "L'OceanStor M900 utilise également des supports hybrides et un algorithme de rétention optimisé, ce qui prolonge la durée de vie de lecture/écriture des SSD de 16 fois.Cela garantit un taux de réussite du cache KV plus élevé, ainsi qu'une stabilité et une fiabilité à long terme à partir de zéro..??
Pour plus de détails, Huawei déclare que le M900 dispose d'une technologie de stockage adaptatif KV-aware qui prédit la durée de vie et la valeur attendues de chaque segment de données de cache KV.Il planifie et distribue les données à travers différents niveaux de médiasHuawei affirme que cette stratégie optimisée de placement et de rétention permet aux SSD de supporter jusqu'à 24 écritures de disque par jour (DWPD), un chiffre particulièrement élevé.et augmente l' endurance du SSD de 16 fois, permettant trois années de fonctionnement stable avec moins de remplacements d'entraînement.
Il est encore trop tôt pour Huawei de publier des fiches de données M900 et des briefings techniques, donc des détails tels que la taille de l'unité de rack de nœud, les contrôleurs, la quantité de lecteur et la capacité,le nombre de nœuds de cluster et d'autres spécifications ne sont pas encore disponibles.
NPU Note de bas de page
Les NPU sont des unités de traitement neuronal Huawei Ascend qui, selon Huawei, sont construites nativement pour l'IA (contrairement aux GPU qui sont originaires de puces graphiques).Ils adoptent l'architecture Da Vinci de Huawei avec des cœurs Cube (matrice) et des cœurs Vector, et prend en charge les formats de basse précision, y compris FP8 et FP4, pour accélérer l'inférence et la formation pour les grands modèles.Ils peuvent évoluer à des milliers ou même des centaines de milliers de NPU fonctionnant comme une seule machine logiqueDes offres récentes telles que l'Atlas 350 (utilisant Ascend 950PR) et les prochains Atlas 960 SuperPoD sont positionnés comme des alternatives aux GPU Nvidia sur le marché chinois.
La Commission a examiné les informations fournies par les autorités chinoises.
Sandy Yang, directeur de la stratégie mondiale
WhatsApp ou WeChat: +86 13426366826
Le courrier électronique: yangyd@qianxingdata.com
Le site Web est le suivant: www.qianxingdata.com/www.storagesserver.com
En ce qui concerne les affaires
Distribution de produits TIC/Intégration des systèmes et services/Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous travaillons en partenariat avec des marques mondiales de premier plan pour fournir des produits fiables et des services professionnels.
Utiliser la technologie pour bâtir un monde intelligentVotre fournisseur de services de produits TIC de confiance!
Votre message doit contenir entre 20 et 3 000 caractères!
French
