Windows Multithreading File Io

Windows’da Diskten İyi Eşzamanlı Okuma Performansı Nasıl Elde Edilir

Büyük dosyalar ile çoklu iş parçacıklı bir ortamda çalışırken, diskten optimal okuma performansına ulaşmak önemli zorluklar çıkarabilir. Birden fazla iş parçacığının ayrı dosyalardan aynı anda okumaya çalıştığı senaryolar, işletim sisteminin disk zamanlama politikası nedeniyle düşük bir verim edinmenize neden olabilir. Bu yazı, karşılaşılan yaygın sorunları incelemekte ve Windows’ta disk okuma performansını artırmak için stratejiler sunmaktadır.

Sorun: Eşzamanlı Okuma Performansı Kısıtlamaları

Farz edelim ki, her biri yaklaşık 2 GiB boyutunda iki büyük dosya var ve iki ayrı iş parçacığı bunları aynı anda okumaya çalışıyor. Gelişmiş performansın keyfini çıkarmak yerine, her iki iş parçacığının da kötü performans gösterdiğini ve yalnızca 2-3 MiB/s birikimli bir verim elde ettiğinizi keşfediyorsunuz. Durumun özeti aşağıdaki gibidir:

  • Kurulum: Her biri bir dosya okuyan iki iş parçacığı.
  • Gözlem: Her iki iş parçacığı aktifken kötü birikimli verim (~2-3 MiB/s) ve tek bir iş parçacığı için çok daha iyi bir performans (~45 MiB/s).
  • Şüphelenilen Sebep: Windows disk zamanlayıcısının etkilediği disk arama davranışı, verimsiz okuma desenlerine yol açıyor.

Windows’ta Disk Zamanlamasını Anlamak

Çözümlere dalmadan önce, Windows’un disk G/Ç taleplerini nasıl yönettiğini anlamak önemlidir. Geçmişte, Windows disk talepleri için FIFO (İlk Gelen İlk Gider) kuyruk kullandı. Talepler 64 KB bloklara bölünüyordu. Bu, aşağıdakilere neden oldu:

  • Sık Disk Aramaları: İki iş parçacığı eşzamanlı okuma yaparken, talepleri birbirine müdahale ediyor ve diskte sürekli ileri geri aramaya neden oluyordu.
  • Esneklik Yokluğu: Windows Vista’dan önce, geliştiricilerin disk talep yönetimini değiştirmek için pek bir şey yapması mümkün değildi.

Ancak Windows Vista’nın tanıtılmasıyla, daha karmaşık bir disk zamanlama algoritması uygulanmış ve eşzamanlı G/Ç işlemlerinin yönetiminde iyileştirmeler sağlanmıştır. Bu, şu soruyu gündeme getiriyor: Vista’dan önceki sistemlerde veya daha sonraki sürümlerde sorunlar devam ederse, okuma performansını optimize etmek için ne yapabiliriz?

Eşzamanlı Okuma Performansını İyileştirmek İçin Önerilen Çözümler

  1. Kendi Disk Erişim Politikanızı Oluşturun: Eski Windows sürümlerinde zamanlama politikasını değiştiremiyorsanız, iş parçacıklarınızda disk erişimini yönetmek için kendi yöntemlerinizi oluşturmayı düşünün.

    • Politika Uygulama Örneği: 
      if (THREAD_A diskten okuma yapıyorsa) {
    THREAD_A'nın okumayı durdurmasını bekleyin ya da X ms bekleyin
}
X ms (veya Y MB) kadar okuyun
okumayı durdurun ve THREAD_A'nın durumunu tekrar kontrol edin

    Bu politika, iş parçacıklarının yalnızca diğer iş parçacığı şu anda okumuyorken diske erişmesini sağlayarak arama sorunlarını azaltır.

  2. Senkronizasyon Primitiflerini Kullanın: Disk erişimini kontrol etmek için semaforlar veya mutexler kullanarak yalnızca bir iş parçacığının okumasını sağlayın. Bu, gerçek eşzamanlı okumalara kıyasla verimi biraz azaltabilir, ancak genel etkinliği artırabilir.

  3. Performansı Ölçün: Disk kuyruk durumunu değerlendirmek ve okuma aralıklarınızı ve veri boyutlarınızı dinamik olarak ayarlamak için performans izleme araçlarını (örn. perfmon) kullanın. Bu ‘otomatik ayar’ yaklaşımı, gerçek zamanlı performans metriklerine dayanarak stratejinizi uyarlamanıza olanak tanır:

    • Mevcut aktarım hızlarını ölçün.
    • Tarihsel performans verilerine dayanarak X ve Y değerlerini ayarlayın.

  4. Daha Yeni Windows Sürümlerine Geçin: Mümkünse, işletim sisteminizi güncellemeyi düşünün. Windows Vista ve sonrasındaki sürümler daha akıllı disk zamanlaması sunarak daha verimli eşzamanlı okumaları sağlar.

Sonuç

Windows’da diskten iyi eşzamanlı okuma performansı elde etmek, işletim sisteminin G/Ç zamanlama sınırlamalarını anlamayı ve bunların etrafından dolaşmak için zeki yazılım teknikleri uygulamayı gerektirir. Kendi disk erişim politikanızı oluşturmanın, senkronizasyon teknikleri kullanmanın ve performans metriklerini izlemenin yanı sıra, büyük dosyalar ve çok iş parçacıklı işlemlerle başa çıkarken uygulamanızın verimini önemli ölçüde artırabilirsiniz.

Bu stratejileri dikkatli bir şekilde uygulayarak, disk okuma süreçlerinizi optimize etmeye ve uygulamalarınızdaki eşzamanlı programlamanın gücünden tam anlamıyla faydalanmaya başlayacaksınız.