Sadece Ana Sayfaya Erişime İzin Vermek İçin robots.txt Dosyasının Nasıl Ayarlanacağı

Eğer hiç bir web sitesi sahibi olduysanız, web tarayıcıları ve botlardan belirli bölümleri gizli tutmanın önemini bilirsiniz. Bu yazıda yaygın bir soruya yanıt vereceğiz: Web sitenizin sadece varsayılan ana sayfasına erişim izni vermek için robots.txt dosyasını nasıl yapılandırabilirsiniz, diğer her şeyi engelleyerek?

robots.txt‘yi Anlamak

Bir robots.txt dosyası, web siteleri tarafından web tarayıcıları ve örümceklerle iletişim kurmak için kullanılan bir standarttır. Bu dosya, sitenizin hangi bölümlerinin Google, Bing ve Yahoo gibi arama motorları tarafından taranmasını ve dizinlenmesini istediğinizi ve hangi bölümleri erişime kapatmak istediğinizi tanımlamanıza olanak tanır.

Neden robots.txt Kullanılır?

• Erişimi Kontrol Etme: Web tarayıcılarının önemsiz sayfalara erişimini engelleyin.
• SEO’yu Artırma: Hangi sayfaların dizinlenileceğini yöneterek sitenizin arama motoru performansını artırın.
• İçeriği Koruma: Hassas veya gereksiz içeriği kamuya kapalı tutun.

Bu eğitimde, özellikle yalnızca ana sayfanızın tarayıcılara erişilebilir olmasını sağlmaya odaklanacağız; diğer sayfaların ve ilgili sorgu dizgilerinin engellendiğinden emin olacağız.

robots.txt Dosyanızı Ayarlama

Sadece ana sayfanıza izin vermek ve diğer tüm URL’leri engellemek için robots.txt dosyanızda belirli bir kural seti kullanmanız gerekiyor. İşte o kodun görünümü:

User-Agent: *
Disallow: /*
Allow: /?okparam=
Allow: /$

Kodun Analizi

1. User-Agent: *

   • Bu satır, kuralların tüm web tarayıcılarına uygulanacağını belirtir. Asterisk (*) bir joker semboldür.

2. Disallow: /*

   • Bu satır, tarayıcılara web sitenizdeki tüm sayfalara erişimi engellemelerini söyler.

3. Allow: /?okparam=

   • Bu satır, sorgu dizisi okparam=true içeriyorsa tarayıcılara ana sayfayı erişmesine izin verir.

4. Allow: /$

   • Dolar işareti ($), URL’nin sonunu belirtir, bu da ana sayfanın (http://example.com veya http://example.com/) dizinlenmesine izin verecektir.

Örnek URL’ler

• İzin Verilen:

  • http://example.com
  • http://example.com/?okparam=true

• Engellenen:

  • http://example.com/anything
  • http://example.com/someendpoint.aspx
  • http://example.com?anythingbutokparam=true

robots.txt Dosyanızı Kaydetme

1. robots.txt adında bir metin dosyası oluşturun.
2. Yukarıda verilen kodu metin dosyasına kopyalayıp yapıştırın.
3. Bu dosyayı web sitenizin kök dizinine yükleyin.

robots.txt Dosyanızı Test Etme

robots.txt dosyanızı yükledikten sonra, her şeyin istediğiniz gibi çalıştığını test etmek önemlidir.

• Google Arama Konsolu gibi araçları kullanarak sitenizin robots.txt dosyasının Googlebot tarafından nasıl yorumlandığını görebilirsiniz.
• Test geri bildirimine göre gerekirse ayarlamalar yapın.

Sonuç

robots.txt dosyasını doğru bir şekilde ayarlamak, sitenizin hangi bölümlerinin arama motorları tarafından dizinleneceğini yönetmek için hayati öneme sahiptir. Yukarıda belirtilen adımları takip ederek, web tarayıcılarına sadece ana sayfanıza erişim izni vermeyi ve diğer tüm sayfalara etkili bir şekilde engel olmayı başarmış olacaksınız. Bu kontrol ile, sitenizin SEO stratejisini geliştirebilirken, kamu dizinlemesi için ilgili olmayan içeriklerinizi koruyabilirsiniz.

Bu basit çözümü uygulayarak, web sitenizin çevrimiçi görünümünü etkili bir şekilde yönetebilirsiniz. İyi taramalar!