.Net Screen Scraping

Güvenli Siteler için WebClient Kullanma

Güvenli web sitelerinde işlemleri otomatikleştirmek zorlu görünebilir, özellikle oturum açma biçimleri ve oturum yönetimi ile karşılaştığınızda. Normal sayfaları web kazıma konusunda deneyimliyseniz ancak güvenli sitelerde çıkmaza girdiyseniz endişelenmeyin. Bu blog yazısında, .NET WebClient sınıfını kullanarak bir oturum açma sürecini otomatikleştirmeyi, çerezleri yakalamayı ve sonraki sayfalardan veri kazımayı açıklayacağız.

Zorluğu Anlamak

Güvenli sitelerle uğraşırken, kimlik doğrulama yönetimi yapmanız ve oturumunuzu sürdürmeniz gerekir. Bu şunları içerir:

  • Siteye giriş yapmak.
  • Korunan sayfalar arasında gezindikçe oturumu canlı tutmak.
  • Gizli alanlar içerebilecek formlar üzerinden geçmek, bu da özel bir işlem gerektirir.

Çözümün Genel Görünümü

Güvenli sitelerle WebClient kullanırken aklınıza bulundurmanız gereken iki ana nokta:

  • HTTPS Uyumluluğu: WebClient ile https ile ilgili özel bir şey yapmanıza gerek yoktur – bu, http gibi çalışır.
  • Çerez Yönetimi: Çerezler, web isteklerinde kimlik doğrulamasını gerçekleştirmek için kritik öneme sahiptir. Giriş yaptıktan sonra her istekle birlikte çerezleri yakalayıp yeniden göndermeniz gerekecektir.

Oturum Açma Sürecini Otomatikleştirmek İçin Adımlar

Güvenli bir siteye başarılı bir şekilde giriş yapmak ve WebClient ile veri kazımak için bu adımları takip edin:

Adım 1: Giriş Formunu Alın

  • Web sitesinin giriş formuna erişmek için bir GET isteği kullanın.
  • Kimlik doğrulama için sonraki isteklerde ihtiyaç duyulacak çerezleri sunucu yanıtından yakaladığına emin olun.

Adım 2: Gizli Alanları Çıkarın

  • Giriş sayfasını aldıktan sonra, HtmlAgilityPack gibi kütüphaneleri kullanarak HTML’yi çözümlemeniz gerekecek.
  • <input type="hidden"> öğelerini arayın ve XPath ifadeleri kullanarak adlarını ve değerlerini çıkarın.

Adım 3: Giriş Bilgilerini Gönderin

  • Giriş formu verilerini göndermek için bir POST isteği hazırlayın. Bu, şunları içerir:
    • Girdiğiniz kullanıcı adı ve şifre.
    • Adım 2’de çıkardığınız tüm gizli alanlar.
    • İstek başlıklarındaki yakalanan çerezler.
  • Giriş isteğini gerçekleştirin ve yanıtı içindeki çerezleri yakalayın.

Adım 4: Güvenli Sayfalara Erişim Sağlayın

  • Artık kazımak istediğiniz sayfalara GET istekleri yapmaya başlayabilirsiniz.
  • Oturum açılmış durumunuzu sürdürmek için istekte çerezleri dahil etmeye devam ettiğinizden emin olun.

Ek Notlar

  • Alternatif Giriş Yöntemleri: Giriş formunu ve gizli alanları çıkarma adımı detaylı bir şekilde ele alınmış olsa da, site yapısına göre daha basit yöntemler de çalışabilir. Kullanıcı adı ve şifreyi doğrudan göndermek yeterli olabilir, fazla güvenlik önlemleri (alan doğrulama gibi) yoksa.

  • İstemci Tarafı Senaryoları: Bazı formlar, alan değerlerini istemci tarafında JavaScript kullanarak değiştirebilir. Bu, oturum açma sürecinde başarı sağlamak için böyle bir davranışı taklit etmenizi gerektirebilir.

  • Hata Ayıklama Araçları: Web kazımanızı kurarken HTTP trafiğini izlemek faydalı olabilir. ieHttpHeaders, Fiddler veya FireBug gibi araçlar, dahil olan istekleri ve yanıtları anlamanıza yardımcı olabilir.

Sonuç

Bu kılavuz ile artık güvenli web sitelerinde oturum açma sürecini otomatikleştirmek için .NET WebClient kullanmaya ve ihtiyaç duyduğunuz verileri etkili bir şekilde kazımaya hazır olmalısınız. Çerezleri dikkatle yönetmeyi unutmayın ve istekleriniz sırasında geçirilmesi gereken gizli alanları göz önünde bulundurun. Kazıma işleminizde bol şans!