nouvelles de l'entreprise Inferra est Lightbits détecteur de mur de mémoire.

J'ai comprimé le texte intégral par8% de mots, a conservé tous les faits essentiels, les indices de référence, les devis et la logique technique, et a supprimé tous les liens:

Le logiciel Lightbits Inferra accélère les opérations de cache KV, brise le mur de mémoire d'inférence d'IA et améliore considérablement l'utilisation du GPU.La société de stockage de blocs haute performance a construit Inferra pour virtualiser la mémoire GPU à large bande passante (HBM)Un cache KV stocke les clés et les valeurs d'attention pré-calculées pendant l'inférence LLM, évitant ainsi le recomptage redondant des données de séquence et améliorant les performances génératives de l'IA.

La mise en cache KV standard limite les données mises en cache au GPU HBM. Une fois que HBM est saturé, les paires KV existantes sont expulsées pour de nouvelles données, ce qui nécessite un recomptage long lors de la réutilisation.La mise en cache KV à niveaux modernes étend le stockage à la DRAM du serveurBien que les niveaux supérieurs entraînent une latence d'accès plus longue, ce délai est souvent plus court que le recomptage de vecteurs de jetons étendus.

Inferra résout les goulots d'étranglement critiques de la mémoire découlant de l'expansion des empreintes de cache KV à contexte long.inférence d'IA plus évolutive sans mises à niveau coûteuses du matériel GPU et HBM pour étendre la capacité de cache.

Le cofondateur et président de Lightbits Labs, Avigdor Willenz, a noté que le marché de l'inférence d'IA de 117 milliards de dollars en 2026 oblige les fournisseurs axés sur la formation héritée à re-architecter.Il a souligné que les anciens systèmes de stockage et de formation ne pouvaient pas être réaménagés pour les goulots d'étranglement du cache KV.Conçu spécialement pour l'efficacité de l'inférence GPU, Inferra a validé sa valeur dans les programmes bêta des clients,étendre l'innovation NVMe du fournisseur sur TCP pour résoudre les problèmes d'inférence modernes.

Propulsé par des algorithmes de pré-recherche optimisés pour le cache KV, Inferra charge de manière proactive les données de cache KV à venir avant la demande du GPU.jusqu'à 16 fois plus de sessions d'inférence simultanées sur le matériel GPU existant avec une conformité stricte au SLA (pas de mises à niveau matérielles requises); amélioration de la latence jusqu'à 100 fois et prise en charge de fenêtres contextuelles de 10 millions de jetons, coupant TTFT et TPOT via pré-reprise prédictive de l'état d'attention au lieu de recomptage;et sécuriser l'isolement des locataires avec une gestion intelligente de la mémoire cache KV unifiée pour les grappes d'inférence partagées.

Inferra redéfinit l'économie de l'inférence en virtualisant la mémoire GPU à travers la mémoire et le stockage à plusieurs niveaux, transformant la mise en cache KV fragmentée en une couche de données persistante et intelligente.Déployée sur des sous-systèmes x86, il surveille l'activité des blocs de cache KV et tire parti d'un moteur SLSAP (Sub-Linear Sparse Attention Prefetch).il classe et classe les blocs KV réutilisés fréquemment, y compris les jetons récents, le contenu sémantiquement similaire et les modèles structurels dans les flux de travail de chat et de RAG à plusieurs tours.Le système récupère les blocs ciblés de la DRAM du serveur ou des SSD externes et les précharge sur le GPU HBM via RDMA.

Yaniv Fdida, directeur des produits et de la technologie d'OVH, a vérifié qu'Inferra offre des gains substantiels d'utilisation du GPU, permettant un agent d'IA évolutif et rentable et une infrastructure de charge de travail RAG.

Les résultats des benchmarks publics confirment des améliorations drastiques des performances: Qwen 2.5-7B (contexte 410K) accélère 102 fois (72,6 s → 711 ms); DeepSeek-R1-70B (contexte 141K) améliore 152 fois (70,8 s → 465 ms);Llama-4-Scout (contexte 10M) atteint un saut de 380 fois (1.5 heures → 13 secondes).

Hardware-agnostique et compatible avec tous les principaux frameworks d'inférence open-source, Inferra prend en charge les plugins Dynamo, vLLM et LMCache.Il fournit une mise à l'échelle TTFT sous-linéaire par rapport à la longueur du contexte, tandis que les concurrents, dont DDN, VAST Data et WEKA, n'offrent que l'évolutivité linéaire ou le streaming réactif.une référence inégalée par les fournisseurs concurrents.

Ramesh Chettuvetty, vice-président senior des produits et des affaires de Lightbits Labs AI, a déclaré qu'Inferra offre des économies immédiates de coûts totaux,éliminer les stands d'inférence de contexte long et permettre aux entreprises de gérer des modèles plus grands et des charges de travail de dialogue plus longues à moindre coût d'infrastructureLes utilisateurs peuvent évaluer les avantages de l'optimisation des coûts d'inférence d'Inferra via la plateforme d'évaluation de l'efficacité publique du fournisseur.Inferra a obtenu une accélération de cache de 100 × à 280 × KV sur les charges de travail SSD de stockage informatique.

La Commission a examiné les informations fournies par les autorités chinoises.
Sandy Yang, directeur de la stratégie mondiale
WhatsApp ou WeChat: +86 13426366826
Le courrier électronique: yangyd@qianxingdata.com
Le site Web est le suivant: www.qianxingdata.com/www.storagesserver.com
En ce qui concerne les affaires
Distribution de produits TIC/Intégration des systèmes et services/Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous travaillons en partenariat avec des marques mondiales de premier plan pour fournir des produits fiables et des services professionnels.
“Utiliser la technologie pour bâtir un monde intelligent”Votre fournisseur de services de produits TIC de confiance!