Bien sûr, avec le L4 dont le prix avoisine les 2 500 $, l'A2 coûtant environ la moitié du prix, et le T4, ancien mais toujours très performant, disponible d'occasion pour moins de 1 000 $, la question évidente est la différence entre ces trois GPU d'inférence.

Il faut comprendre que ces trois cartes ne sont pas des remplacements générationnels un pour un, ce qui explique pourquoi le T4 reste, de nombreuses années plus tard, un choix populaire pour certains cas d'utilisation. L'A2 a été lancé en remplacement du T4 en tant qu'option basse consommation et plus compatible (x8 contre x16 mécanique). Techniquement, le L4 est donc un remplacement du T4, l'A2 se situant dans un entre-deux qui pourrait ou non être actualisé à l'avenir.

Performances MLPerf Inference 3.1

MLPerf est un consortium de leaders de l'IA issus du monde universitaire, de la recherche et de l'industrie, créé pour fournir des benchmarks équitables et pertinents pour le matériel et les logiciels d'IA. Ces benchmarks sont conçus pour mesurer les performances du matériel, des logiciels et des services d'apprentissage automatique sur diverses tâches et scénarios.

Nos tests se concentrent sur deux benchmarks MLPerf spécifiques : Resnet50 et BERT.

• Resnet50 : Il s'agit d'un réseau neuronal convolutif utilisé principalement pour la classification d'images. C'est un bon indicateur de la capacité d'un système à gérer des tâches d'apprentissage profond liées au traitement d'images.
• BERT (Bidirectional Encoder Representations from Transformers) : Ce benchmark se concentre sur les tâches de traitement du langage naturel, offrant un aperçu des performances d'un système dans la compréhension et le traitement du langage humain.

Ces deux tests sont cruciaux pour évaluer les capacités du matériel d'IA dans des scénarios réels impliquant le traitement d'images et de langage.

L'évaluation du NVIDIA L4 avec ces benchmarks est essentielle pour comprendre les capacités du GPU L4 dans des tâches d'IA spécifiques. Elle offre également un aperçu de la manière dont différentes configurations (simples, doubles et quadruples) influencent les performances. Ces informations sont vitales pour les professionnels et les organisations qui cherchent à optimiser leur infrastructure d'IA.

Les modèles sont exécutés dans deux modes clés : Serveur et Hors ligne.

• Mode Hors ligne : Ce mode mesure les performances d'un système lorsque toutes les données sont disponibles pour un traitement simultané. Il s'apparente au traitement par lots, où le système traite un grand ensemble de données en un seul lot. Le mode hors ligne est crucial pour les scénarios où la latence n'est pas une préoccupation majeure, mais où le débit et l'efficacité le sont.
• Mode Serveur : En revanche, le mode serveur évalue les performances du système dans un scénario imitant un environnement serveur réel, où les requêtes arrivent une par une. Ce mode est sensible à la latence, mesurant la rapidité avec laquelle le système peut répondre à chaque requête. Il est essentiel pour les applications en temps réel, telles que les serveurs web ou les applications interactives, où une réponse immédiate est nécessaire.

1 x NVIDIA L4 – Dell PowerEdge XR7620

Dans le cadre de notre récente revue du Dell PowerEdge XR7620, équipé d'un seul NVIDIA L4, nous l'avons emmené en périphérie pour exécuter plusieurs tâches, y compris MLPerf.

Notre configuration de système de test comprenait les composants suivants :

• 2 x Xeon Gold 6426Y – 16 cœurs 2,5 GHz
• 1 x NVIDIA L4
• 8 x 16 Go DDR5
• 480 Go BOSS RAID1
• Ubuntu Server 22.04
• Pilote NVIDIA 535

Les performances dans les scénarios serveur et hors ligne pour Resnet50 et BERT K99 sont quasi identiques, ce qui indique que le L4 maintient des performances constantes sur différents modèles de serveur.

1, 2 et 4 NVIDIA L4 – Dell PowerEdge T560

Notre configuration d'unité de revue comprenait les composants suivants :

• 2 x Intel Xeon Gold 6448Y (32 cœurs/64 threads chacun, TDP de 225 watts, 2,1-4,1 GHz)
• 8 x SSD Solidigm P5520 de 1,6 To avec carte RAID PERC 12
• 1-4 GPU NVIDIA L4
• 8 x RDIMM de 64 Go
• Ubuntu Server 22.04
• Pilote NVIDIA 535

Dans nos tests avec deux L4 dans le Dell T560, nous avons observé cette mise à l'échelle quasi linéaire des performances pour les benchmarks Resnet50 et BERT K99. Cette mise à l'échelle témoigne de l'efficacité des GPU L4 et de leur capacité à travailler en tandem sans pertes significatives dues à la surcharge ou à l'inefficacité.

La mise à l'échelle linéaire constante que nous avons observée avec deux GPU NVIDIA L4 s'étend de manière impressionnante aux configurations comportant quatre unités L4. Cette mise à l'échelle est particulièrement remarquable car le maintien de gains de performance linéaires devient de plus en plus difficile avec chaque GPU ajouté en raison des complexités du traitement parallèle et de la gestion des ressources.

Ces résultats sont à titre illustratif uniquement et ne constituent pas des résultats MLPerf compétitifs ou officiels. Pour une liste complète des résultats officiels, veuillez visiter la page des résultats MLPerf.

En plus de valider la scalabilité linéaire des GPU NVIDIA L4, nos tests en laboratoire éclairent les implications pratiques du déploiement de ces unités dans différents scénarios opérationnels. Par exemple, la cohérence des performances entre les modes serveur et hors ligne dans toutes les configurations avec les GPU L4 révèle leur fiabilité et leur polyvalence.

Cet aspect est particulièrement pertinent pour les entreprises et les institutions de recherche où les contextes opérationnels varient considérablement. De plus, nos observations sur l'impact minimal des goulots d'étranglement d'interconnexion et l'efficacité de la synchronisation des GPU dans les configurations multi-GPU fournissent des informations précieuses à ceux qui cherchent à faire évoluer leur infrastructure d'IA. Ces informations vont au-delà des simples chiffres de benchmark, offrant une compréhension plus approfondie de la manière dont un tel matériel peut être utilisé de manière optimale dans des scénarios réels, guidant ainsi de meilleures décisions architecturales et stratégies d'investissement dans l'infrastructure d'IA et HPC.

Performances applicatives NVIDIA L4

Nous avons comparé les performances du nouveau NVIDIA L4 à celles des NVIDIA A2 et NVIDIA T4 qui l'ont précédé. Pour illustrer cette amélioration des performances par rapport aux modèles précédents, nous avons déployé les trois modèles dans un serveur de notre laboratoire, avec Windows Server 2022 et les derniers pilotes NVIDIA, en utilisant notre suite complète de tests GPU.

Ces cartes ont été testées sur un Dell Poweredge R760 avec la configuration suivante :

• 2 x Intel Xeon Gold 6430 (32 cœurs, 2,1 GHz)
• Windows Server 2022
• Pilote NVIDIA 538.15
• ECC désactivé sur toutes les cartes pour un échantillonnage 1x

Alors que nous commençons les tests de performance entre ce groupe de trois GPU d'entreprise, il est important de noter les différences de performance uniques entre les modèles A2 et T4 plus anciens. Lors de la sortie de l'A2, il offrait des améliorations notables telles qu'une consommation d'énergie réduite et un fonctionnement sur un slot PCIe Gen4 x8 plus petit, au lieu du slot PCIe Gen3 x16 plus grand requis par l'ancien T4. Il a ainsi pu être intégré dans plus de systèmes, notamment avec son empreinte plus petite.

Blender OptiX 4.0

Blender OptiX est une application de modélisation 3D open-source. Ce test peut être exécuté pour le CPU et le GPU, mais nous n'avons effectué que le GPU, comme la plupart des autres tests ici. Ce benchmark a été exécuté à l'aide de l'utilitaire Blender Benchmark CLI. Le score est le nombre d'échantillons par minute, plus il est élevé, mieux c'est.

Blackmagic RAW Speed Test

Nous testons les CPU et les GPU avec le Blackmagic RAW Speed Test qui mesure les vitesses de lecture vidéo. Il s'agit plutôt d'un test hybride qui inclut les performances du CPU et du GPU pour le décodage RAW en conditions réelles. Ceux-ci sont affichés comme des résultats séparés, mais nous nous concentrons uniquement sur les GPU ici, donc les résultats du CPU sont omis.

Cinebench 2024 GPU

Cinebench 2024 de Maxon est un benchmark de rendu CPU et GPU qui utilise tous les cœurs et threads du CPU. Encore une fois, comme nous nous concentrons sur les résultats GPU, nous n'avons pas exécuté les parties CPU du test. Des scores plus élevés sont meilleurs.

GPU PI

GPUPI 3.3.3 est une version de l'utilitaire de benchmark léger conçu pour calculer π (pi) à des milliards de décimales en utilisant l'accélération matérielle via les GPU et les CPU. Il exploite la puissance de calcul d'OpenCL et de CUDA, qui comprend à la fois les unités de traitement centrales et graphiques. Nous avons exécuté CUDA uniquement sur les 3 GPU et les chiffres ici sont le temps de calcul sans le temps de réduction ajouté. Plus bas est mieux.

Alors que les résultats précédents ne regardaient qu'une seule itération de chaque carte, nous avons également eu l'occasion d'examiner un déploiement de 5x NVIDIA L4 dans le Dell PowerEdge T560.

Octanebench

OctaneBench est un utilitaire de benchmark pour OctaneRender, un autre moteur de rendu 3D avec prise en charge RTX similaire à V-Ray.

Geekbench 6 GPU

Geekbench 6 est un benchmark multiplateforme qui mesure les performances globales du système. Il existe des options de test pour le benchmarking CPU et GPU. Des scores plus élevés sont meilleurs. Encore une fois, nous n'avons examiné que les résultats GPU.

Vous pouvez trouver des comparaisons avec n'importe quel système de votre choix dans le Geekbench Browser.

Luxmark

LuxMark est un outil de benchmark multiplateforme OpenCL de ceux qui maintiennent le moteur de rendu 3D open-source LuxRender. Cet outil examine les performances GPU dans la modélisation 3D, l'éclairage et le travail vidéo. Pour cette revue, nous avons utilisé la version la plus récente, v4alpha0. Dans LuxMark, plus le score est élevé, mieux c'est.

GROMACS CUDA

Nous avons également sourcé GROMACS compilé, un logiciel de dynamique moléculaire, spécifiquement pour CUDA. Cette compilation sur mesure visait à exploiter les capacités de traitement parallèle des 5 GPU NVIDIA L4, essentielles pour accélérer les simulations informatiques.

Le processus a impliqué l'utilisation de nvcc, le compilateur CUDA de NVIDIA, ainsi que de nombreuses itérations des indicateurs d'optimisation appropriés pour garantir que les binaires étaient correctement optimisés pour l'architecture du serveur. L'inclusion du support CUDA dans la compilation GROMACS permet au logiciel d'interfacer directement avec le matériel GPU, ce qui peut considérablement améliorer les temps de calcul pour les simulations complexes.

Le Test : Interaction Protéique Personnalisée dans Gromacs

En exploitant un fichier d'entrée fourni par la communauté de notre divers Discord, qui contenait des paramètres et des structures adaptés à une étude spécifique d'interaction protéique, nous avons lancé une simulation de dynamique moléculaire. Les résultats ont été remarquables : le système a atteint un taux de simulation de 170,268 nanosecondes par jour.

Plus que de l'IA

Dans la vague incessante d'innovation dans le paysage actuel de l'IA, la mesure et la compréhension des capacités de diverses plateformes matérielles sont essentielles. Toutes les applications d'IA ne nécessitent pas d'énormes fermes d'entraînement GPU ; il existe un segment vital de l'IA d'inférence qui exige souvent moins de puissance GPU, en particulier en périphérie. Dans cette revue, nous examinons plusieurs GPU NVIDIA L4 sur trois serveurs Dell différents et une gamme de charges de travail, y compris MLperf, pour évaluer les performances du L4.

 

NVIDIA L4

GPU NVIDIA L4

À la base, le L4 offre une impressionnante performance de 30,3 téraFLOPs en FP32, ce qui le rend idéal pour les tâches de calcul de haute précision. Ses capacités s'étendent aux calculs en précision mixte via les Tensor Cores TF32, FP16 et BFLOAT16, des fonctionnalités essentielles pour améliorer l'efficacité de l'apprentissage profond. Selon la fiche technique du L4, les performances dans ces modes de précision mixte varient de 60 à 121 téraFLOPs.

 

Le L4 excelle dans les tâches de faible précision, offrant 242,5 téraFLOPs avec ses Tensor Cores FP8 et INT8, qui augmentent considérablement les performances d'inférence des réseaux neuronaux. Équipé de 24 Go de mémoire GDDR6 et d'une bande passante de 300 Go/s, il peut facilement gérer de grands ensembles de données et des modèles complexes. Ce qui distingue le plus le L4, cependant, c'est son efficacité énergétique : avec un TDP de 72 W, il est bien adapté à une grande variété d'environnements informatiques. Cette combinaison de hautes performances, d'efficacité mémoire et de faible consommation d'énergie fait du NVIDIA L4 une option attrayante pour relever les défis de l'informatique en périphérie.

 

Avec le battage médiatique autour de l'IA atteignant son paroxysme, il est facile de se concentrer uniquement sur les performances du L4 avec les modèles d'IA, mais il a quelques autres atouts dans sa manche, ouvrant un monde de possibilités pour les applications vidéo. Le L4 peut héberger jusqu'à 1 040 flux vidéo AV1 simultanés à 720p30, une capacité qui peut transformer la façon dont le contenu est diffusé en direct aux utilisateurs en périphérie, élever la narration créative et permettre des cas d'utilisation passionnants pour les expériences immersives AR/VR.

 

Le NVIDIA L4 brille également lorsqu'il s'agit d'optimiser les performances graphiques, comme en témoigne sa maîtrise du rendu en temps réel et du ray tracing. Dans un environnement de bureau en périphérie, le L4 est capable de fournir une accélération de calcul graphique robuste et puissante pour la VDI, répondant aux utilisateurs finaux qui dépendent du rendu graphique de haute qualité en temps réel pour leur travail.

 

Réflexions finales

Le GPU NVIDIA L4 fournit une base solide pour l'IA en périphérie et le calcul haute performance, offrant une efficacité et une polyvalence inégalées dans une gamme d'applications. Sa capacité à gérer des charges de travail d'IA intensives, des tâches d'accélération ou des pipelines vidéo, ainsi que ses performances graphiques optimisées, en font un choix idéal pour l'inférence en périphérie ou l'accélération de bureau virtuel. La combinaison unique du L4 de puissance de calcul élevée, de capacités mémoire avancées et d'efficacité énergétique le positionne comme un acteur clé dans la conduite de l'accélération des charges de travail en périphérie, en particulier dans les industries à forte intensité d'IA et de graphisme.

 

 

Pile torsadée NVIDIA L4

Il est indéniable que l'IA est au centre de la tempête informatique actuelle, et la demande de GPU H100/H200 haut de gamme reste à son comble. Cependant, il y a aussi une forte poussée pour déployer une infrastructure informatique plus robuste en périphérie, là où les données sont générées et analysées. Dans ces scénarios, un GPU plus adapté est nécessaire, et le NVIDIA L4 excelle ici. Il devrait être le choix par défaut pour l'inférence en périphérie, qu'il soit déployé comme une unité unique ou mis à l'échelle ensemble, comme nous l'avons testé dans le T560.

 

Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Directeur de la stratégie mondiale
WhatsApp / WeChat : +86 13426366826
E-mail : yangyd@qianxingdata.com
Site Web : www.qianxingdata.com/www.storagesserver.com

Domaine d'activité :
Distribution de produits TIC/Intégration de systèmes et services/Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous nous associons à des marques mondiales de premier plan pour fournir des produits fiables et des services professionnels.
« Utiliser la technologie pour construire un monde intelligent » Votre fournisseur de services de produits TIC de confiance !