Les spécifications complètes:

Dell PowerEdge XE9680 Construire et concevoir

Le PowerEdge XE9680 est une pièce de matériel imposante, mesurant 10,36 pouces (263,20 mm) de hauteur, 18,97 pouces (482,00 mm) de largeur et 39,71 pouces (1008,77 mm) de profondeur avec sa lunette attachée.Lorsqu'il est entièrement chargéLa sélection du GPU aura le dernier mot sur le poids, le modèle NVIDIA H100/H200 étant de 238 livres, tandis que l'unité AMD MI300X pointe la balance à 251 livres.

C'était le premier serveur qui a nécessité une réflexion minutieuse pour charger correctement dans notre environnement de test.Il y a une marge de manœuvre pour sortir des limites.Dell est assez gentil pour vous donner une table élévatrice pour vous aider à comprendre comment cette plateforme s'intègre.Kevin a chargé le XE9680 dans le rack lui-même.

Malgré sa complexité et la recommandation de Dell pour les techniciens de service spécialisés, le XE9680 dispose d'éléments de service remarquablement conviviaux.Les panneaux des serveurs contiennent des instructions de service détaillées et des graphiques clairsCes guides visuels se sont révélés inestimables pendant notre temps pratique avec le système,Ce qui nous permet de faire le service de divers composants en toute confiance..

Après avoir ouvert le couvercle du PowerEdge XE9680, une fois que vous avez passé les nombreux câbles d'alimentation de la petite sous-station d'alimentation au sommet, il ressemble beaucoup à un PowerEdge R760.Notre unité était alimentée par deux processeurs Intel Xeon Platinum 8468Chaque processeur offre 80 voies PCIe, qui traversent plusieurs commutateurs PCIe dans cette unité pour prendre en charge les GPU, les NIC et autres matériels chargés dans le XE9680.

L'une des caractéristiques d'ingénierie les plus impressionnantes est la conception de la carte de commutation PCIe (PSB).cartes PCIe de demi-longueur (dont deux peuvent dépasser 75 W de consommation d'énergie) et intégrées directement à la carte de base GPUCette intégration directe permet la technologie GPU-direct, permettant aux SSD et cartes réseau de communiquer directement avec les GPU, contournant le processeur et réduisant la latence pour les charges de travail IA à forte intensité d'E/S.

Chaque fente d'extension prend en charge une interface PCIe Gen5 x16 complète, y compris les deux fentes inférieures à l'extrême gauche et à droite de la mise en page.les deux emplacements inférieurs se connectent directement à la carte de base PCIe (PBB)Ces deux emplacements prennent également en charge les cartes de tirage à haute puissance.Les modèles équipés d'AMD ne prennent pas en charge les SmartNIC/DPU, et les modèles Intel Gaudi3 ont deux fentes bloquées en raison de problèmes de débit d'air.

Le refroidissement est un autre domaine où l'expertise en ingénierie de Dell brille.Le système emploie jusqu'à 16 ventilateurs de haute performance de qualité dorée, six dans le plateau central et dix à l'arrière.Le PowerEdge XE9680 prend en charge un large éventail de scénarios d'installationLa température ambiante varie de 10 à 35 °C (30 °C avec les GPU Intel Gaudi3).

Cette solution de refroidissement robuste gère même les charges thermiques les plus exigeantes, y compris les GPU AMD MI300X, Intel Gaudi3 ou NVIDIA H100, tout en maintenant des températures de fonctionnement optimales.Le PowerEdge XE9680 chante un peu sous charge en termes de bruit.Dell propose une fiche de spécifications acoustiques complète pour le XE9680 dans différentes situations, mais il est assez facile de dire qu'il s'agira d'une plateforme bruyante sous charge.

La gestion

Les capacités de gestion des XE9680 sont basées sur iDRAC9 de Dell, qui fournit une gestion et une surveillance complètes du cycle de vie des serveurs.Cette itération d'iDRAC apporte plusieurs fonctionnalités optimisées pour l'IA, y compris la télémétrie détaillée du GPU, l'analyse de la consommation d'énergie et une surveillance thermique approfondie conçue pour les charges de travail d'IA à haute densité.

La pile de gestion de la plateforme est particulièrement remarquable pour les déploiements d'infrastructures d'IA.les organisations peuvent surveiller et gérer l'utilisation du GPU par programmation, la bande passante de mémoire et les conditions thermiques sont des mesures essentielles pour maintenir une formation optimale de l'IA et des performances d'inférence.L'intégration du système avec OpenManage Enterprise permet de gérer l'ensemble de la flotte de plusieurs XE9680 à travers une console unifiée, ce qui est essentiel pour les grappes d'IA à grande échelle.

La sécurité et la conformité sont des éléments fondamentaux de l'architecture de gestion.assurer l'intégrité du matériel depuis le démarrage jusqu'au fonctionnementCes fonctionnalités sont particulièrement utiles lors de l'exécution de charges de travail sensibles d'IA ou de la manipulation de poids de modèles propriétaires.

La capacité d'analyse prédictive des pannes, alimentée par l'intégration CloudIQ, utilise l'apprentissage automatique pour prédire les problèmes matériels potentiels avant qu'ils n'aient une incidence sur les charges de travail.Cette approche proactive est particulièrement cruciale pour les emplois de formation à long terme en IA, où des temps d'arrêt inattendus peuvent entraîner des jours de calcul perdus.entraînant souvent une maintenance préventive avant la dégradation du système.

Pour les organisations nécessitant une intégration avec les outils de gestion existants, le XE9680 prend en charge divers cadres de gestion grâce aux intégrations OpenManage, y compris ServiceNow et BMC TrueSight,permettre une intégration transparente dans les flux de travail établis en matière de gestion des services informatiques.

L'interface iDRAC9 fournit une surveillance détaillée en temps réel des composants critiques via un tableau de bord intuitif.consommation électrique, et les taux d'utilisation dans les huit accélérateurs, essentiels pour optimiser la répartition de la charge de travail de l'IA.

L'interface de surveillance du stockage offre une visibilité instantanée de l'état du lecteur, de la température et des mesures de performance sur l'ensemble du réseau NVMe,qui est particulièrement utile lors de la gestion des caches d'inférence à haut débit et des ensembles de données de formation.

Mémoire, stockage et échelle

Les huit GPU AMD MI300X à l'intérieur du Dell PowerEdge XE9680 représentent un bond significatif dans la capacité de mémoire du GPU, offrant 192 Go de mémoire HBM3 par carte par rapport aux 141 Go du NVIDIA H200.Cette augmentation de 36% de la capacité de mémoire n'est pas seulement un chiffre sur une feuille de spécifications, elle est essentielle pour le déploiement de grands modèles de langage..

Cette énorme réserve de mémoire, couplée à la bande passante de mémoire de 5,3 TB/s du MI300X,permet aux organisations d'exécuter plusieurs instances de modèles plus petits ou de partitionner des modèles plus grands sur les GPU tout en maintenant un débit élevé et une faible latence.

Pour mettre cela en perspective, le modèle Llama 3.1 405B de Meta, qui nécessite au nord de 1 To de VRAM dans BF16,peut être confortablement distribué sur un seul XE9680 avec des GPU MI300X sans quantification et une longueur de contexte complète de 128kCela élimine les pertes de qualité potentielles associées aux techniques de quantification et permet d'obtenir plus de jetons par seconde que si le modèle était distribué sur deux serveurs.

Pour maximiser notre empreinte de stockage, nous avons utilisé les disques Solidigm 61.44TB pour servir d'extension sophistiquée à la mémoire, combler le fossé entre la mémoire GPU haute vitesse et le stockage traditionnel.Les SSD excellent à stocker des paires de cache clé-valeur pendant l'inférenceLeur capacité massive et leurs performances NVMe les rendent idéales pour un accès rapide au poids du modèle.permettant un changement de modèle efficace et des démarrages à chaud.

Dans des applications comme le déploiement de l'IA de Metrum que nous détaillons ci-dessous, les SSD jouent un double rôle comme le backend de stockage pour les bases de données vectorielles,fournir les performances requises pour les recherches de similitude en temps réel tout en maintenant la capacité de stockage intégré étendu.

La valeur de ces disques de grande capacité va au-delà de l'inférence pour les flux de travail de formation.réduire les frais généraux du réseau en gardant les données plus près des ressources de calculAu cours de la formation, ces entraînements excellent dans le stockage des points de contrôle de modèle localement, ce qui est essentiel pour maintenir la progression de la formation et permettre une récupération rapide.Cette stratégie de stockage local permet également d'optimiser l'utilisation du réseau en réduisant le trafic réseau immédiat après chaque couche et lot de traitement.

Alors que la capacité de 61,44 TB sur huit ports dans le XE9680 semble prometteuse, il y a beaucoup plus de capacité à venir.la densité de stockage dans le XE peut être doublée à près d'un pétaoctet pour des optimisations de formation et des caches d'inférence plus longues.

Métrum AI Assistant de soins de santé révolutionnant les soins aux patients

Le secteur des soins de santé est constamment confronté à un défi de gestion de la documentation et de la gestion des dossiers des patients, qui nécessitent beaucoup de temps, ce qui nuit souvent aux soins directs aux patients.Assistant de santé de Metrum AI., déployé sur des serveurs Dell PowerEdge XE9680 avec accélérateurs AMD, illustre comment une infrastructure d'IA avancée peut transformer les flux de travail des soins de santé, améliorer l'efficacité et améliorer les résultats des patients.

Le système utilise Llama 3.1 70B Instruct comme modèle de langage principal, réputé pour sa compréhension des contextes médicaux.Ce modèle de langage est associé au gte-v1.5 modèle d'intégration et Milvus Vector DB, fournissant une base solide pour le traitement du langage naturel et la compréhension contextuelle essentielle pour le traitement des données médicales.

L'assistant de soins de santé de Metrum AI® comprend également une approche multimodale intégrant HistoGPT pour l'analyse d'images histopathologiques et OpenAI® Whisper pour la transcription en temps réel des notes des médecins.Ensemble., ces modèles rationalisent les flux de travail cliniques, permettant aux médecins de parler naturellement tandis que le système transcrit, catégorise et intègre les informations dans les dossiers des patients en temps réel.

Metrum AI reconnaît que même si les données individuelles des patients peuvent être relativement petites, les besoins de stockage combinés des hôpitaux à fort trafic peuvent atteindre des centaines de téraoctets.Le Dell PowerEdge XE9680 peut résoudre ce problème avec son stockage NVMe local intégréNotre configuration offre huit plates-formes de stockage NVMe U.2 de 2,5 pouces fonctionnant à des vitesses PCIe Gen4. Alors que nous avons testé le XE9680 avec des SSD QLC Soldigim D5-P5336 de 61,44 To, cette capacité peut être encore plus grande.Soldigim a récemment lancé leur nouveau D5-P5336 122.88TB QLC modèles, ce qui double la capacité de leurs SSD déjà massifs tout en maintenant les mêmes performances.

Metrum a fourni des estimations de la façon dont les données des patients se traduisent au fil du temps dans différents scénarios.vous pouvez voir combien de patients supplémentaires une unité pourrait soutenir en utilisant les SSD de plus grande capacitéEn prenant l'empreinte de données estimée par patient et en comparant la capacité utilisable de chaque SSD (57 To pour le SSD de 61 To et 114 To pour le SSD de 122 To),Nous pouvons voir que le fait d'avoir des SSDs denses augmente considérablement ce que vous pouvez stocker sur le serveur d'une manière significative par an.

Bien que les estimations initiales d'un an semblent assez élevées, il est important de noter que les données sur les patients ne sont pas statiques.C'est là que le stockage joue un rôle important dans l'espace d'imagerie médicaleLa capacité de stockage supplémentaire affecte directement le nombre de patients qu'une solution peut soutenir efficacement.

Le Dell PowerEdge XE9680, équipé d'accélérateurs AMD MI300X et intégré à l'assistant de soins de santé de Metrum AI, fournit une solution évolutive et efficace pour les fournisseurs de soins de santé.En automatisant les tâches qui prennent du temps et en permettant un accès rapide aux informations essentielles, cette configuration permet aux cliniciens de se concentrer davantage sur les soins aux patients tout en gérant les demandes croissantes.l'assistant de santé représente une avancée significative dans les solutions de soins de santé basées sur l'IA, réduisant les charges administratives et améliorant les résultats globaux pour les patients.

Conclusion