كيفية إعداد ملف robots.txt للسماح بالوصول فقط إلى الصفحة الرئيسية

إذا كنت قد امتلكت موقعاً إلكترونياً من قبل، فأنت تعرف أهمية إبقاء بعض أجزاء منه مخفية عن زواحف الويب والروبوتات. في هذا المنشور، سنتناول سؤالاً شائعاً: كيف يمكنك تكوين ملف robots.txt للسماح فقط بالصفحة الرئيسية الافتراضية لموقعك مع حظر كل شيء آخر؟

فهم robots.txt

ملف robots.txt هو معيار يستخدمه المواقع للتواصل مع زواحف الويب والعناكب. يتيح لك تحديد الأجزاء من موقعك التي ترغب في زحفها وفهرستها بواسطة محركات البحث مثل جوجل، بينج، وياهو، والأجزاء التي ترغب في إبقائها خارج الحدود.

لماذا استخدام robots.txt؟

• تحكم في الوصول: منع زواحف الويب من الوصول إلى الصفحات غير الهامة.
• تعزيز SEO: تحسين أداء موقعك في محركات البحث من خلال إدارة ما يتم فهرسته.
• حماية المحتوى: إبقاء المحتوى الحساس أو غير الضروري بعيداً عن العرض العام.

في هذا الدليل، سنركز بشكل خاص على كيفية التأكد من أن الصفحة الرئيسية فقط متاحة للزواحف، بينما يتم حظر الصفحات الأخرى وسلاسل الاستعلام المقابلة لها.

إعداد ملف robots.txt الخاص بك

للسماح فقط بالصفحة الرئيسية وحظر جميع عناوين URL الأخرى، ستحتاج إلى استخدام مجموعة محددة من القواعد في ملف robots.txt الخاص بك. إليك كيف سيبدو هذا الكود:

User-Agent: *
Disallow: /*
Allow: /?okparam=
Allow: /$

تحليل الكود

1. User-Agent: *

   • هذه السطر يحدد أن القواعد تنطبق على جميع زواحف الويب. علامة النجمة (*) هي رمز الwildcard.

2. Disallow: /*

   • هذه السطر يخبر الزواحف بحظر الوصول إلى جميع الصفحات على موقعك.

3. Allow: /?okparam=

   • هذه السطر يسمح للزواحف بالوصول إلى الصفحة الرئيسية إذا كانت سلسلة الاستعلام تتضمن okparam=true.

4. Allow: /$

   • علامة الدولار ($) تشير إلى نهاية عنوان URL، مما يعني أنه سيسمح بفهرسة الصفحة الرئيسية (http://example.com أو http://example.com/).

عناوين URL المثال

• المسموح:

  • http://example.com
  • http://example.com/?okparam=true

• المحجوز:

  • http://example.com/anything
  • http://example.com/someendpoint.aspx
  • http://example.com?anythingbutokparam=true

حفظ ملف robots.txt الخاص بك

1. أنشئ ملف نصي باسم robots.txt.
2. انسخ والصق الكود المقدم أعلاه في الملف النصي.
3. قم بتحميل هذا الملف إلى الدليل الجذر لموقعك.

اختبار ملف robots.txt الخاص بك

بعد أن قمت بتحميل ملف robots.txt الخاص بك، من الضروري اختباره لضمان أن كل شيء يعمل كما تنوي.

• استخدم أدوات مثل Google Search Console لمعرفة كيفية تفسير Googlebot لملف robots.txt الخاص بموقعك.
• قم بإجراء التعديلات إذا لزم الأمر بناءً على ملاحظات الاختبار.

الخاتمة

يعد إعداد ملف robots.txt بشكل صحيح أمراً بالغ الأهمية لإدارة الأجزاء من موقعك التي يتم فهرستها بواسطة محركات البحث. من خلال اتباع الخطوات المذكورة أعلاه، ستسمح بنجاح لزواحف الويب بالوصول فقط إلى صفحتك الرئيسية مع حظر جميع الصفحات الأخرى بفعالية. مع هذا التحكم، يمكنك تعزيز استراتيجية تحسين محركات البحث لموقعك مع حماية المحتوى الذي ليس له صلة بالفهرسة العامة.

من خلال تنفيذ هذه الحل البسيط، يمكنك إدارة رؤية موقعك على الويب بكفاءة. نتمنى لك تجربة زراعة ممتعة!