La société de gestion de données non structurées Komprise a développé une technologie brevetée capable de diviser dynamiquement d'énormes ensembles de données non structurées. Cette solution répartit les charges de travail sur plusieurs moteurs de calcul lors de la transmission des données vers les GPU de traitement de l'IA, accélérant considérablement la vitesse de traitement globale.
Officiellement enregistrée sous le brevet US-12566637-B2, la technologie Komprise Elastic Shares (KES) a été soumise par le CTO de Komprise Michael Peercy et son équipe de recherche. Son titre officiel est « Système et méthodes pour subdiviser un arbre inconnu pour l'exécution d'opérations par plusieurs moteurs de calcul ».
Peercy a déclaré : "Elastic Shares permet à nos clients d'exploiter pleinement de précieuses ressources informatiques, de mémoire et de réseau. La technologie offre une évolutivité quasi linéaire des performances, aidant les entreprises à acquérir des avantages concurrentiels importants."
Pour les ensembles de données à l'échelle du pétaoctet transmis aux serveurs d'IA à des fins d'analyse, d'inférence LLM ou de calcul d'agent IA, un seul moteur de calcul nécessite des heures pour parcourir les arborescences de répertoires ou les préfixes de stockage d'objets. Un moteur de calcul peut être défini comme un serveur indépendant, un thread individuel, un groupe de threads, un processus ou un cluster de processus, avec des principes opérationnels cohérents dans tous les scénarios. Bien que les utilisateurs puissent déployer à l'avance plusieurs moteurs pour le calcul parallèle, l'allocation statique entraîne souvent une inefficacité. Des tailles de branche inégales entraînent que certains nœuds de calcul se terminent plus tôt et restent inactifs en attendant que des nœuds plus lents terminent les tâches assignées.
Brevet Komprise US-12566637-B2.
L'équipe de Peercy a inventé un planificateur de tâches intelligent intégré à l'un des moteurs de calcul pour surveiller l'état des nœuds en temps réel. Lorsqu'une tâche de traitement de données est lancée, les charges de travail sont initialement réparties entre les moteurs de calcul disponibles. Une fois qu'un nœud a terminé la partition qui lui est attribuée, il retourne au pool de ressources pour recevoir les tâches en attente. Ce mécanisme élimine les temps d'inactivité, attribue en permanence de nouvelles charges de travail aux nœuds de calcul libres et réduit la durée globale du traitement.
Selon un article du blog officiel de Komprise, KES redistribue dynamiquement les charges de travail de données non structurées entre les clusters de serveurs en streaming. La technologie atteint une accélération quasi linéaire pour le traitement de données à grande échelle sans nécessiter d'informations préalables concernant la capacité de l'ensemble de données, la structure interne ou la latence de traitement.
Pour faire simple : chaque nœud informatique reçoit automatiquement de nouvelles tâches immédiatement après avoir terminé les tâches en cours, maintenant ainsi l'utilisation complète des ressources jusqu'à ce que l'ensemble du travail de données soit terminé.
Michel Peercy.
La documentation du brevet indique que les tâches de migration de données à grande échelle entre des serveurs de fichiers ou des volumes de stockage sont souvent confrontées à des contraintes de temps serrées. Un seul nœud de calcul, qu'il s'agisse d'un thread, d'un processus ou d'un serveur autonome, ne dispose pas d'un débit suffisant pour terminer rapidement de lourdes charges de travail, ce qui fait du traitement parallèle multimoteur une solution essentielle.
Le document explique en outre que les structures arborescentes de répertoires ne peuvent être identifiées que lors d'un parcours récursif de la racine aux nœuds feuilles. Dans certains cas, les données doivent être traitées dans un ordre fixe, par exemple en donnant la priorité aux répertoires parents avant les sous-dossiers et les fichiers. Cela nécessite une segmentation dynamique de la charge de travail en temps réel au lieu d'un partitionnement statique rigide, qui doit s'adapter à des architectures de données diverses et inconnues.
Cette technologie brevetée s'applique aux fichiers, dossiers, objets de stockage et préfixes d'objets. Bien que conçu à l'origine pour des serveurs physiques indépendants, il est compatible avec toutes les formes de moteurs de calcul, y compris les threads, les processus et les clusters de services backend.
Komprise met en évidence trois avantages essentiels apportés par la technologie KES :
-
Partitionnement dynamique des tâches: Les ressources informatiques de grande valeur sont instantanément réaffectées à de nouvelles tâches une fois qu'elles deviennent inactives.
-
Traitement aveugle des données: Le système prend en charge le calcul d'ensembles de données sans connaissance préalable de la taille des données, de la structure interne et de la latence de traitement variable, s'adaptant parfaitement aux scénarios de transmission de données en streaming IA.
-
Rééquilibrage intelligent des ressources: Il optimise automatiquement les stratégies d'allocation pour s'adapter aux hiérarchies de données non structurées avec des densités de branches imprévisibles.
Cette technologie innovante et brevetée offre une optimisation pratique et efficace pour le calcul de données non structurées à grande échelle.
Pékin Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Directrice de la stratégie mondiale
WhatsApp/WeChat : +86 13426366826
Courriel : yangyd@qianxingdata.com
Site Web : www.qianxingdata.com/www.storagesserver.com
Objectif commercial :
Distribution de produits TIC/Intégration et services de systèmes/Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous collaborons avec de grandes marques mondiales pour fournir des produits et des services professionnels fiables.
« Utiliser la technologie pour construire un monde intelligent » Votre fournisseur de services de produits TIC de confiance !
Votre message doit contenir entre 20 et 3 000 caractères!
French
