nouvelles de l'entreprise Panmnesia et Meta adoptent une vision des centres de données IA basée sur une seule puce et CXL

Meta et le fournisseur de technologie CXL Panmnesia affirment que les centres de données d'IA doivent être considérés comme une seule ressource de traitement coordonnée, et non comme un ensemble de serveurs indépendants co-localisés.

Le centre de données d'IA devrait être une ressource étroitement couplée, avec un domaine de cohérence unique, comme une puce CPU. Ceci est différent des centres de données d'entreprise existants, faiblement couplés, pilotés par la demande, qui ont de nombreux domaines de cohérence. Les centres de données d'IA peuvent exécuter une seule tâche sur des centaines, voire des milliers de GPU, ce qui est à peu près similaire à une charge de travail de calcul haute performance impliquant des cœurs de processeur, de la mémoire et des liaisons réseau coordonnés.

Panmnesia et Meta ont conjointement proposé une architecture de centre de données d'IA de nouvelle génération de ce type, dans laquelle le centre de données fonctionne comme une seule puce. Ces travaux sont publiés dans NREE, une revue du Nature Portfolio.

Myoungsoo Jung
Myoungsoo Jung, PDG de Panmnesia, a déclaré : « À mesure que les systèmes d'IA continuent de croître, la capacité de connecter rapidement et efficacement un grand nombre d'accélérateurs et de périphériques de mémoire devient aussi importante que les performances des accélérateurs individuels. Cette recherche esquisse une orientation pour l'infrastructure d'IA de nouvelle génération, où CXL permet à l'ensemble du centre de données de fonctionner comme un seul système informatique. »

Les composants d'une seule puce de traitement, les cœurs, etc., sont conçus et placés de manière à avoir des chemins de liaison uniformes dans un seul domaine de cohérence et à effectuer leur travail de manière synchronisée, coordonnée et contrôlée. En revanche, les centres de données existants ont des processeurs de serveur et du stockage dans des étagères de rack avec des liaisons réseau et des commutateurs intra-rack et inter-rack. Il n'y a pas de structure de contrôle permettant de coordonner le traitement du serveur.

Centre de données de type puce
Panmnesia déclare : « Dans les centres de données actuels, les accélérateurs à l'intérieur d'un rack sont connectés par des interconnexions rapides de type scale-up, tandis que les connexions qui sortent du rack — et les connexions vers des périphériques autres que les accélérateurs — dépendent de réseaux de type scale-out plus lents. Les mesures de tels environnements montrent des distributions de latence à longue traîne, avec une latence aller-retour au 99e percentile environ cinq fois supérieure à la médiane. C'est ce qui freine la tâche globale, et plus il y a de périphériques impliqués, plus cela se produit souvent et plus gravement. »

Pour qu'un centre de données d'IA fonctionne efficacement et rapidement, il faut un contrôle et une coordination à la fois intra-rack et inter-rack des GPU, de leur mémoire et de leur stockage. Dans les infrastructures d'IA à grande échelle, dit-il, la réduction de la variation de latence entre les périphériques afin que le centre de données dans son ensemble se comporte de manière prévisible est aussi importante que l'amélioration des performances des périphériques individuels ou de la vitesse des liaisons.

Panmnesia LAU
Meta et Panmnesia proposent d'utiliser CXL comme base pour cela, avec de nouveaux concepts permettant son fonctionnement au niveau multi-rack de GPU. CXL étendu fournit la cohérence du cache entre les racks d'accélérateurs dans leur schéma, prenant en charge un plus grand nombre de périphériques que le GB200 NVL72 et UALink basés sur NVLink de Nvidia à l'échelle du rack.

Cela définit les règles de base pour connecter les périphériques, mais pas le routage des données et la latence. Ils proposent trois éléments matériels dédiés pour réduire et limiter la variation de latence :
Commutateur non bloquant à haut facteur d'éventail : connecte de nombreux périphériques à la fois, réduisant le nombre de sauts et maintenant des longueurs de chemin similaires quelle que soit la source.
Unité d'accélération de liaison (LAU) : déplace le traitement répétitif du protocole à chaque point de connexion vers un pipeline matériel dédié, rendant le comportement au niveau du saut plus régulier et limitant la variation de latence.
Contrôleur de tissu : applique la même politique d'ordonnancement pour le traitement des requêtes sur l'ensemble du système, de sorte que les transactions soient traitées de manière cohérente, quel que soit le périphérique par lequel elles passent.

Commutateur non bloquant à haut facteur d'éventail Panmnesia
Le contrôleur de tissu (un contrôleur CXL/PCIe combiné) et le LAU ont terminé la validation du silicium, et le commutateur de tissu a été fabriqué sous forme de puce de silicium physique, avec du silicium pré-version maintenant fourni. Cela démontre que l'architecture proposée tient au niveau du silicium fabricable.

Leur architecture regroupe les CPU, les accélérateurs, la mémoire et les commutateurs par fonction en plateaux, regroupe les plateaux en pods et connecte les pods via un tissu — une hiérarchie régulière plateau-pod-tissu conçue pour préserver des chemins de communication et une synchronisation à sauts fixes et plus cohérents.

Contrôleur de tissu Panmnesia
Comparé à la conception de Nvidia, dans laquelle un CPU est couplé à deux accélérateurs via NVLink-C2C, l'intérieur du rack est connecté par NVLink, et les serveurs et les racks sont connectés par un réseau scale-out tel qu'Ethernet ou InfiniBand, leur schéma :
Fournit une augmentation de 8 fois des accélérateurs directement coordonnés par un seul CPU ; de 2 à 16,
Permet à jusqu'à 960 accélérateurs de fonctionner ensemble dans un seul domaine de cohérence,
Réduit la latence d'accès aux données du niveau de la microseconde à plusieurs centaines de nanosecondes ; environ un ordre de grandeur inférieur,
L'unité de remplacement en cas de défaillance devient un seul périphérique défaillant au lieu d'un serveur. La séparation des ressources par type permet au système de remplacer uniquement les périphériques défaillants plutôt qu'un serveur entier, évitant ainsi le gaspillage de ressources et les arrêts opérationnels prolongés.

Panmnesia a déjà implémenté les composants centraux de l'architecture en silicium, terminé la validation, et les prépare maintenant pour la fourniture commerciale. Les développements futurs envisagent des interconnexions optiques pour augmenter la vitesse et la scalabilité.

Note de bas de page
La référence de l'article NREE est disponible.

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Directeur de la stratégie mondiale
WhatsApp / WeChat : +86 13426366826
E-mail : yangyd@qianxingdata.com
Site Web : www.qianxingdata.com/www.storagesserver.com
Domaine d'activité :
Distribution de produits TIC / Intégration de systèmes et services / Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous collaborons avec les principales marques mondiales pour fournir des produits fiables et des services professionnels.
« Utiliser la technologie pour construire un monde intelligent » Votre fournisseur de services de produits TIC de confiance !