French
MinIO a publié MemKV, un stockage de mémoire contextuelle dédié conçu pour résoudre un goulot d'étranglement critique dans les pipelines d'inférence d'IA à grande échelle.Servant de deuxième solution phare de MinIO® aux côtés d'AIStor, MemKV étend l'infrastructure de données de l'entreprise au niveau de la mémoire. Il est conçu pour fournir des données contextuelles persistantes et partagées pour les charges de travail d'IA agencées exécutées sur des grappes GPU distribuées.
Le mini-AIStor
À mesure que les systèmes d'IA passent des réponses ponctuelles au raisonnement à plusieurs tours et à l'exécution automatisée des tâches, le maintien d'un contexte continu à travers les cycles d'inférence est devenu de plus en plus essentiel.Dans le cadre des architectures existantes, les données contextuelles sont souvent écartées en raison de la capacité limitée des niveaux de mémoire adjacents au GPU, y compris HBM et DRAM.calculer l'utilisation et la consommation d'énergie. MinIO définit cette charge de travail redondante comme la "taxe de recomptage", une inefficacité qui s'aggrave de façon exponentielle dans les environnements de cloud hyperscale.
MemKV est conçu pour atténuer ce point sensible via une couche de mémoire partagée et persistante capable de stocker à l'échelle des pétaoctets avec une latence d'accès de microsecondes.En conservant les données contextuelles tout au long des flux de travail d'inférence, la plateforme réduit les calculs redondants et augmente l'efficacité globale de l'infrastructure.Les données de référence internes de MinIO vérifient une latence améliorée du temps jusqu'au premier jeton dans le cadre de la concurrence de productionDans un déploiement typique équipé de 128 GPU et de fenêtres contextuelles de 128K de jetons, l'utilisation du GPU est passée d'environ 50% à plus de 90%, ce qui se traduit par des réductions substantielles des coûts de calcul annuels.
Les dirigeants de MinIO ont déclaré que les frais généraux de recomptage restent imperceptibles dans les déploiements à petite échelle, mais deviennent un défaut structurel fondamental à l'échelle de l'entreprise.La régénération de contexte répétée entraîne une consommation d'énergie et des dépenses d'infrastructure plus élevées, rendant les systèmes de mémoire spécialisés indispensables au fonctionnement durable de l'IA.
Comment faire face à l'écart de mémoire
L'infrastructure d'IA héritée oblige les développeurs à faire un compromis entre la vitesse d'accès et la capacité de stockage.Les niveaux de mémoire hautes performances tels que HBM et DRAM offrent une latence de microsecondes mais sont limités par une capacité limitée et des coûts élevésEn revanche, les systèmes de stockage conventionnels offrent une grande évolutivité, mais souffrent d'une latence de niveau milliseconde, ce qui les rend incompatibles avec l'inférence en temps réel et les tâches de raisonnement à long contexte.
Pour les appareils de traitement de l'air
MemKV comble cette lacune de l'industrie en introduisant un niveau de mémoire partagée intermédiaire qui équilibre une latence ultra-faible et une grande évolutivité de stockage.Nativement compatible avec NVIDIA BlueField-4 STX et intégré avec NVIDIA Dynamo aux côtés des outils NIXL, la solution permet à des grappes entières de GPU d'accéder à des pools de données contextuels unifiés à des vitesses de transmission alignées sur l'inférence.Cette conception élimine la migration fréquente des données de contexte entre les couches de mémoire et de stockage isolées, réduisant la latence et augmentant le débit du système.
NVIDIA BlueField-4
Architecture optimisée pour les charges de travail d'inférence
Conçu exclusivement pour les pipelines de données d'inférence, MemKV s'intègre dans la couche G3.5 du cadre de hiérarchie de la mémoire GPU de MinIO.il atteint une capacité de pétaoctet tout en conservant une latence d'accès de microsecondes, détachant avec succès l'évolutivité de la mémoire des ressources de calcul du GPU.
Le système abandonne les abstractions de stockage traditionnelles encombrantes, transférant les données directement des lecteurs NVMe vers les pipelines de données IA via une transmission RDMA de bout en bout.Cela coupe les frais généraux de performance apportés par les protocoles HTTP, la conversion de systèmes de fichiers et les serveurs de stockage intermédiaire grelots d'étranglement communs dans les architectures de stockage basées sur des objets et des fichiers.
Source: Google
Les principales optimisations architecturales incluent l'exécution binaire native ARM64 sur NVIDIA BlueField-4 STX, intégrée directement dans la couche de stockage pour réduire la dépendance aux nœuds de stockage x86 externes.Tous les transferts de données entre la mémoire GPU et le stockage NVMe adoptent la transmission RDMAEn outre, MemKV utilise des blocs de taille élargie allant de 2 MB à 16 MB,qui sont optimisés pour les caractéristiques de débit du processeur graphique au lieu des blocs de stockage 4 KB héritésIl prend en charge des tissus d'interconnexion à haute vitesse de pointe tels que NVIDIA Spectrum-X Ethernet et PCIe Gen6, facilitant la transmission de données à une vitesse proche du fil à travers les grappes.
Disponibilité
Le MinIO MemKV est désormais commercialisé pour le déploiement en entreprise.
La Commission a examiné les informations fournies par les autorités chinoises.
Sandy Yang, directeur de la stratégie mondiale
WhatsApp ou WeChat: +86 13426366826
Le courrier électronique: yangyd@qianxingdata.com
Le site Web est le suivant: www.qianxingdata.com/www.storagesserver.com
En ce qui concerne les affaires
Distribution de produits TIC/Intégration des systèmes et services/Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous travaillons en partenariat avec des marques mondiales de premier plan pour fournir des produits fiables et des services professionnels.
Utiliser la technologie pour bâtir un monde intelligentVotre fournisseur de services de produits TIC de confiance!
Sandy Yang, directeur de la stratégie mondiale
WhatsApp ou WeChat: +86 13426366826
Le courrier électronique: yangyd@qianxingdata.com
Le site Web est le suivant: www.qianxingdata.com/www.storagesserver.com
En ce qui concerne les affaires
Distribution de produits TIC/Intégration des systèmes et services/Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous travaillons en partenariat avec des marques mondiales de premier plan pour fournir des produits fiables et des services professionnels.
Utiliser la technologie pour bâtir un monde intelligentVotre fournisseur de services de produits TIC de confiance!