Le secteur mondial des mémoires flash et des mémoires a connu une activité intense au cours du week-end, avec un différend Micron-Apple, des discussions d'Anthropic sur l'approvisionnement en puces avec SK Hynix, un nouveau partenariat Nvidia-SK Hynix, les progrès de SK Hynix en matière de DRAM 3D, et l'innovation de Samsung en matière de mise en commun de mémoire CXL.
SK Hynix a dominé les gros titres récents de l'industrie. L'analyste de Citrini, Jukan, a confirmé que l'entreprise développe de la DRAM empilée en 3D, soutenue par le recrutement stratégique d'ingénieurs en conception de DRAM empilées en 3D sur logique via sa filiale américaine de San Jose. Le recrutement cible des talents capables de co-concevoir des puces logiques DRAM empilées en 3D avec plusieurs clients basés aux États-Unis.
La nouvelle architecture empile la DRAM 3D au-dessus des processeurs semi-conducteurs système. L'intégration de la DRAM et de la logique sur une seule puce offre une connectivité inter-puces plus rapide et une consommation d'énergie plus faible que la liaison traditionnelle package-sur-package (PoP) de modules mémoire et logiques séparés.
Jukan note que la technologie cible les appareils de charge de travail IA nécessitant une bande passante mémoire élevée et une faible consommation d'énergie, notamment les processeurs d'applications mobiles pour smartphones, positionnant Apple comme un client potentiel clé pour SK Hynix.
SK Group a élargi son partenariat stratégique avec Nvidia via des lettres d'intention formelles, formant une collaboration d'une valeur de plus de 500 milliards de dollars. SK Telecom construira une usine d'IA Nvidia Vera Rubin DSX de 2 gigawatts en tant que nouveau fournisseur de cloud pour répondre à la demande mondiale de calcul. Les puces Vera Rubin adopteront la mémoire HBM4 de SK Hynix, la première usine d'IA devant être lancée en 2027.
Le partenariat vise à accélérer le développement d'infrastructures d'IA à grande échelle, couvrant les services d'IA souverains, physiques, agentiels et d'entreprise, et à répondre à la demande croissante d'IA en Corée du Sud et dans la région Asie-Pacifique. SK Hynix lancera également un partenariat à long terme de mémoire IA avec Nvidia, assurant un approvisionnement stable en mémoire IA de nouvelle génération pour Nvidia tout en augmentant la capacité de production de SK Hynix. Les deux parties co-développeront et optimiseront les solutions HBM et autres mémoires IA pour l'entraînement des LLM, les scénarios d'IA agentiels et physiques.
Le président de SK Group, Chey Tae-won, a déclaré que la collaboration tirera parti de la mémoire IA de SK Hynix et des forces d'infrastructure de SK Telecom pour construire une usine d'IA de classe mondiale, transformant la Corée du Sud d'un adoptant de l'IA en un centre d'innovation IA mondial.
L'ancien PDG d'Intel, Pat Gelsinger, a critiqué ouvertement la HBM lors d'une discussion informelle sur l'industrie coréenne, la qualifiant de solution mémoire imparfaite. Il a souligné les principaux défauts de la HBM : problèmes d'empilement thermique, limites de connectivité contraintes par les bords des GPU, faible efficacité énergétique et inefficacité des bits, sacrifiant environ quatre bits de mémoire par bit opérationnel effectif. Gelsinger a néanmoins reconnu que la HBM est la meilleure solution viable disponible aujourd'hui.
Le vice-président principal de SK Hynix, Hoshik Kim, a partiellement approuvé le point de vue de Gelsinger, déclarant que la HBM ne peut pas résoudre fondamentalement le goulot d'étranglement inhérent au mur mémoire de l'IA. Il a précisé que la HBM ne sert qu'à titre de mesure d'atténuation temporaire, tandis que SK Hynix développe activement des solutions alternatives pour relever le défi principal du mur mémoire.
Selon Bloomberg, la société américaine d'IA de premier plan Anthropic négocie avec SK Hynix pour un approvisionnement dédié en puces mémoire afin de soutenir ses processeurs d'IA personnalisés internes. Le président de SK Group, Chey Tae-won, a révélé la nouvelle lors d'un sommet sur l'IA à San Francisco en juillet 2024, où le PDG d'Anthropic, Dario Amodei, a également pris la parole, louant les objectifs ambitieux de développement matériel d'Anthropic dans le cadre des efforts généralisés de l'industrie pour briser la domination des GPU de Nvidia. Amodei n'a pas répondu publiquement aux commentaires.
Samsung a atteint des performances DRAM quasi natives pour les charges de travail d'inférence IA en utilisant une mémoire CXL externe mise en commun pour le déchargement du cache KV, selon son blog technique officiel. Les LLM s'appuient sur le cache KV pour stocker les clés et valeurs d'attention calculées afin de réduire la latence d'inférence et les calculs redondants, mais les grands modèles nécessitent des centaines de gigaoctets de cache, dépassant facilement la mémoire des processeurs d'IA embarqués. Le déchargement conventionnel basé sur SSD ou réseau atténue les limites de capacité mais introduit une latence supplémentaire et une surcharge de bande passante.
La technologie CXL brise les contraintes physiques traditionnelles de la DRAM via des interconnexions PCIe cohérentes à large bande passante, permettant une mise en commun de mémoire évolutive sur plusieurs appareils via des commutateurs CXL. Le CMM-D (CXL Memory Module-DRAM) de Samsung est spécialement conçu pour cette architecture mémoire étendue.
Samsung a testé ses modules CMM-D avec des GPU Nvidia RTX PRO 6000 Blackwell sur PCIe Gen5, construisant un pool de mémoire CXL de 1 To avec des optimisations logicielles vLLM et LMCache. Les tests ont vérifié que le pool prend en charge le déchargement de cache KV à grande échelle avec des performances quasi DRAM. Dans les configurations à GPU unique, le pooling CXL optimisé a égalé les performances DRAM en tant que backend LMCache. Dans les environnements multi-GPU à huit GPU, il a conservé 92 % du débit DRAM natif avec une capacité mémoire beaucoup plus importante.
Des tests supplémentaires ont comparé une configuration DRAM locale de 512 Go et un pool CXL de 1 To sous des charges de cache KV croissantes. La DRAM locale a subi de graves baisses de performance dues à des recalculs de cache répétés une fois la capacité dépassée, tandis que le pool CXL a maintenu des performances stables et pris en charge des empreintes de cache beaucoup plus importantes. Les détails complets des tests sont disponibles dans le livre blanc téléchargeable de Samsung.
Samsung note que les déploiements actuels de commutateurs CXL nécessitent des ajustements du noyau et du logiciel au niveau de l'hôte pour LMCache et d'autres composants. Néanmoins, la mise en commun de mémoire basée sur CXL 3.0 montre un fort potentiel d'application, avec une maturation continue de l'écosystème via les plateformes Intel DMR, AMD Venice et les nouveaux commutateurs CXL 3.0 pour éliminer les limitations techniques existantes.
Enfin, un fossé croissant s'est creusé entre Micron et Apple. Citant des rapports du WSJ, Jukan de Citrini révèle qu'Apple fait pression sur la Maison Blanche pour obtenir l'approbation de déployer la DRAM CXMT de la liste d'entités chinoises dans ses appareils, tandis que Micron dépose des contre-appels pour bloquer l'adoption des puces CXMT. La friction découle d'une vieille rancune du PDG de Micron, Sanjay Mehrotra, datant de son époque chez Sandisk, lorsque Apple avait imposé des prix bas pour la mémoire flash pendant un marché d'acheteurs. Le marché actuel de la mémoire étant favorable aux fournisseurs, Mehrotra serait réticent à assouplir les contraintes de prix et d'approvisionnement pour Apple.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Directeur de la stratégie mondiale
WhatsApp / WeChat : +86 13426366826
E-mail : yangyd@qianxingdata.com
Site Web : www.qianxingdata.com/www.storagesserver.com
Focus commercial :
Distribution de produits TIC / Intégration de systèmes et services / Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous nous associons à des marques mondiales de premier plan pour fournir des produits fiables et des services professionnels.
« Utiliser la technologie pour construire un monde intelligent » Votre fournisseur de services de produits TIC de confiance !
Votre message doit contenir entre 20 et 3 000 caractères!
French
