Windows Multithreading File Io

Comment Obtenir de Bonnes Performances de Lecture Concurrente depuis le Disque sous Windows

Lorsque vous travaillez avec de grands fichiers dans un environnement multithréadé, obtenir des performances de lecture optimales depuis le disque peut poser des défis significatifs. Dans des scénarios où plusieurs threads tentent de lire des fichiers séparés simultanément, vous pouvez rencontrer un faible débit en raison de la politique de planification de disque de l’operating system. Cet article aborde les problèmes courants rencontrés et présente des stratégies pour améliorer les performances de lecture de disque sous Windows.

Le Problème : Contraintes de Performance de Lecture Concurrente

Imaginez que vous avez deux grands fichiers, chacun d’environ 2 GiB, et deux threads distincts essayant de les lire simultanément. Au lieu de bénéficier d’une meilleure performance, vous constatez que les deux threads fonctionnent mal et n’atteignent qu’un débit combiné de 2-3 MiB/sec. Voici un résumé de la situation :

  • Configuration : Deux threads, chacun lisant un fichier.
  • Observation : Faible débit combiné lorsque les deux threads sont actifs (~2-3 MiB/sec) contre une performance bien meilleure (~45 MiB/sec) pour un seul thread.
  • Cause Suspectée : Comportement de recherche sur disque impacté par le planificateur de disque Windows, ce qui entraîne des schémas de lecture inefficaces.

Comprendre la Planification de Disque sous Windows

Avant de plonger dans les solutions, il est essentiel de comprendre comment Windows gère les requêtes d’E/S de disque. Historiquement, Windows utilisait une file d’attente FIFO (Premier Entré, Premier Sorti) pour les requêtes de disque, où les requêtes étaient divisées en blocs de 64 Ko. Cela entraînait :

  • Recherches de Disque Fréquentes : Lorsque deux threads lisaient simultanément, leurs demandes interféraient, provoquant des recherches constantes d’avant en arrière sur le disque.
  • Rigidité : Avant Windows Vista, les développeurs avaient très peu de contrôle sur la gestion des requêtes de disque.

Cependant, avec l’introduction de Windows Vista, un algorithme de planification de disque plus sophistiqué a été mis en œuvre, permettant une meilleure gestion des opérations d’E/S concurrentes. Cela soulève la question : Que pouvons-nous faire pour optimiser les performances de lecture sur les systèmes antérieurs à Vista ou même sur des versions ultérieures si des problèmes persistent ?

Solutions Proposées pour Améliorer les Performances de Lecture Concurrente

  1. Politique d’Accès au Disque Personnalisée : Étant donné que vous ne pouvez pas modifier la politique de planification dans les versions antérieures de Windows, envisagez de créer votre propre méthode pour gérer l’accès au disque dans vos threads.

    • Exemple d’Implémentation de Politique : 
      if (THREAD_A est en train de lire depuis le disque) {
    attendre que THREAD_A arrête de lire ou attendre X ms
}
lire pendant X ms (ou Y Mo)
arrêter de lire et vérifier le statut de THREAD_A à nouveau

    Cette politique introduit un mécanisme d’attente où les threads n’accèdent au disque que lorsque l’autre thread ne lit pas actuellement, atténuant ainsi les problèmes de recherche.

  2. Utiliser des Primitifs de Synchronisation : Employez des sémaphores ou des mutex pour contrôler l’accès au disque, garantissant qu’un seul thread lisent à la fois. Cela peut réduire le débit légèrement par rapport aux véritables lectures concurrentes, mais peut améliorer l’efficacité globale.

  3. Surveiller la Performance avec des Métriques : Utilisez des outils de surveillance des performances (comme perfmon) pour évaluer l’état de la file d’attente du disque et ajuster dynamiquement vos intervalles de lecture et de taille de données. Cette approche d’‘auto-ajustement’ vous permet d’adapter votre stratégie en fonction des métriques de performance en temps réel :

    • Mesurez les taux de transfert actuels.
    • Ajustez les valeurs X et Y en fonction des données de performance historiques.

  4. Mettre à Niveau vers des Versions Plus Récentes de Windows : Si possible, envisagez de mettre à niveau votre système d’exploitation. Windows Vista et les versions ultérieures offrent une planification de disque plus intelligente, permettant des lectures concurrentes plus efficaces.

Conclusion

Obtenir de bonnes performances de lecture concurrente depuis le disque sous Windows nécessite de comprendre les limitations de la planification des E/S de l’OS et d’implémenter des techniques logicielles intelligentes pour les contourner. En introduisant une politique d’accès au disque personnalisée, en utilisant des techniques de synchronisation et en surveillant les métriques de performance, vous pouvez considérablement améliorer le débit de votre application lors de la gestion de grands fichiers et de la programmation multithread.

Appliquez ces stratégies de manière réfléchie et vous serez sur la bonne voie pour optimiser vos processus de lecture de disque et tirer pleinement parti de la puissance de la programmation concurrente dans vos applications.