MIT and Tufts University researchers have developed a performance-enhancing management scheme for pooled SSDs that mitigates performance slowdowns caused by block erase-and-write operations and garbage collection.
Nommé Sandook,ce schéma sépare les caractéristiques limitant les performances à court et à long terme des disques SSD utilisant une structure de contrôle à deux couches alimentée par télémétrie du logiciel d'agent exécuté sur des serveurs de stockage.
Les performances des SSD peuvent fluctuer considérablement en fonction de la combinaison des demandes de lecture et d'écriture.et le trafic d'écriture lourd peut dégrader les performances de lecture globales. Les performances peuvent également varier selon les configurations de SDS de différents fournisseurs, et même entre les SSD du même fabricant et du même lot.il doit copier les données validesCette opération est généralement gérée indépendamment par chaque contrôleur SSD et peut entraîner des pannes soudaines, des pannes de données et des pannes de données.baisse significative des performances.
Les chercheurs envisagent un cluster de calcul composé de nœuds de calcul et de serveurs de stockage.aux côtés du logiciel client sur les serveurs de calcul et du logiciel agent sur les serveurs de stockageLes serveurs de stockage utilisent des SSD standard, équipés chacun de leur propre contrôleur natif.
Le contrôleur Sandook maintient un registre de tous les disques SSD, ayant profilé chacun pour établir des lignes de base de performance telles que les capacités IOPS.Il attribue des modes de lecture ou d'écriture à des disques individuels et reçoit des mises à jour de performance en temps réel toutes les 200 ms des agents Sandook sur les serveurs de stockageÀ l'aide de ces données, il calcule les poids de lecture et d'écriture ajustés à la demande globale d'E/S du cluster et partage ces décisions de planification avec le logiciel client Sandook sur les serveurs de calcul.
Pour les lectures, Sandook tire parti de la réplication de bloc existante - déjà utilisée pour la tolérance aux erreurs - pour acheminer de manière flexible les demandes de lecture entre les réplicas sur différents SSD.Il utilise une conception structurée en journaux qui permet d'envoyer des écritures vers n'importe quel SSD, indépendamment du placement logique des blocsCe haut degré de flexibilité permet d'appliquer les politiques de planification sans aucune restriction.
Le logiciel client Sandook expose une interface de blocage standard aux applications, acheminant de manière transparente les demandes d'E/S vers les SSD les plus appropriés en fonction des règles de planification du contrôleur.Il reçoit également l'état SSD en temps réel des agents du côté du stockage et peut déprioriser un SSD lors de la collecte des orduresLes demandes de lecture et d'écriture sont ensuite redirigées vers d'autres disques, évitant ainsi une latence excessive dans le système de stockage global.
Les agents Sandook (1) traitent les commandes de lecture et d'écriture des clients et les transmettent aux SSD cibles; (2) fournissent une surveillance indépendante du matériel,y compris le profilage périodique et les signaux de statut en temps réel, pour soutenir la planification du responsable du traitement;et (3) relais des signaux de congestion des SSD aux clients afin que les événements à court terme comme la collecte de déchets puissent être traités localement et immédiatement en déplaçant les E/S vers d'autres SSD dans le serveur.
La mémoire et les frais généraux du processeur pour surveiller des dizaines de disques SSD par serveur de stockage sont minimes.
Les chercheurs ont évalué Sandook en fonction de quatre charges de travail:
- LeanStore: un moteur de stockage OLTP haute performance optimisé pour les processeurs multicœurs et les SSD NVMe.
- Apprentissage automatique: entraînement d'un modèle Unet3D CNN avec PyTorch sur un ensemble de données de 180 Go.
- LZ4: compression d'image sur le jeu de données ImageNet ILSVRC2015.
- Serveur de stockage: un serveur de stockage en blocs open source haute performance desservant des applications sensibles à la latence.
Dans l'ensemble, Sandook améliore le débit d'E/S brut de 30 à 82% par rapport aux systèmes existants qui ne traitent qu'une seule source de variabilité de performance, tout en maintenant une latence de queue inférieure à la milliseconde.Pour les applications non modifiées partageant un pool SSD, les performances de bout en bout s'améliorent de 12 à 94%.
Plus précisément, par rapport aux systèmes précédents, il offre un débit de stockage 1,7 fois plus élevé, un débit d'application 1,12×1,94 fois plus élevé, une latence inférieure de 71×88%,et 23% d'utilisation plus élevée de la GPU sans avoir besoin de modifications de matériel ou d'applications personnalisées.
L'article de Sandook, intitulé "Débloquer le potentiel des disques SSD de centres de données en apprivoisant la variabilité des performances", est disponible en PDF téléchargeable.Le travail sera présenté au symposium USENIX sur la conception et la mise en œuvre de systèmes en réseau (NSDI 2026) à RentonWashington, du 4 au 6 mai.
La Commission a examiné les informations fournies par les autorités chinoises.
Sandy Yang, directeur de la stratégie mondiale
WhatsApp ou WeChat: +86 13426366826
Le courrier électronique: yangyd@qianxingdata.com
Le site Web est le suivant: www.qianxingdata.com/www.storagesserver.com
En ce qui concerne les affaires
Distribution de produits TIC/Intégration des systèmes et services/Solutions d'infrastructure
Avec plus de 20 ans d'expérience dans la distribution informatique, nous travaillons en partenariat avec des marques mondiales de premier plan pour fournir des produits fiables et des services professionnels.
Utiliser la technologie pour bâtir un monde intelligentVotre fournisseur de services de produits TIC de confiance!