اداة توليد ملف robots.txt | لتحسين أداء موقعك الإلكتروني
منشئ ملف Robots.txt
يُعد ملف robots.txt وثيقة توجيهية لكيفية زحف الروبوتات إلى موقعك الإلكتروني. يُعرف أيضاً باسم بروتوكول استبعاد الروبوتات، ويستخدم هذا المعيار لإرشاد الروبوتات إلى الأجزاء التي تحتاج إلى فهرسة في موقعك الإلكتروني. كما يمكنك تحديد المناطق التي لا ترغب في فهرستها، مثل المحتوى المكرر أو الصفحات التي تحت التطوير. بعض الروبوتات، مثل مكتشفات البرمجيات الخبيثة وجامعي البريد الإلكتروني، لا تتبع هذا المعيار وقد تبدأ بفحص موقعك من المناطق التي لا ترغب في فهرستها.
مكونات ملف Robots.txt
يتضمن ملف robots.txt كاملاً “User-agent”، وأسفله يمكنك كتابة توجيهات أخرى مثل “Allow” و “Disallow” و “Crawl-Delay” وغيرها. قد يكون كتابة الملف يدوياً مستغرقاً للوقت، حيث يمكن أن تدخل عدة أسطر من الأوامر في ملف واحد. إذا كنت ترغب في استبعاد صفحة معينة، ستحتاج إلى كتابة “Disallow: الرابط الذي لا تريد أن تزوره الروبوتات”، وينطبق نفس الشيء على خاصية السماح. إذا كنت تعتقد أن هذا كل ما في ملف robots.txt، فأنت مخطئ، إذ يمكن أن تؤدي سطر واحد خاطئ إلى استبعاد صفحتك من قائمة الفهرسة. لذلك، من الأفضل ترك هذه المهمة للمحترفين، دع مولد Robots.txt الخاص بنا يتولى أمر الملف نيابة عنك.
أهمية Robots.txt في تحسين محركات البحث (SEO)
هل تعلم أن هذا الملف الصغير يمكن أن يساعد في تحسين ترتيب موقعك الإلكتروني؟
- أول ملف تنظر إليه روبوتات محركات البحث هو ملف robots.txt، وإذا لم يتم العثور عليه، فإن هناك فرصة كبيرة لأن الروبوتات لن تفهرس جميع صفحات موقعك. يمكن تعديل هذا الملف لاحقاً عند إضافة صفحات جديدة باستخدام بعض التعليمات البسيطة، لكن تأكد من عدم إضافة الصفحة الرئيسية في توجيه disallow.
- تعمل Google بميزانية زحف، وهذه الميزانية تعتمد على حد الزحف، وهو عدد المرات التي ستقضيها الروبوتات في موقع الويب.
- إذا اكتشفت Google أن زحف موقعك يعوق تجربة المستخدم، فستقوم ببطء الزحف إلى الموقع. يعني هذا أن كل مرة ترسل فيها Google الروبوتات، ستتحقق فقط من بعض الصفحات في موقعك، وستأخذ مقالتك الأحدث وقتاً أطول لتتم فهرستها. لإزالة هذا القيد، يحتاج موقعك إلى خريطة موقع وملف robots.txt.
- هذه الملفات ستسرع عملية الزحف من خلال إخبار الروبوتات بالروابط التي تحتاج إلى مزيد من الانتباه.
توجيهات ملف Robots.txt
إذا كنت تقوم بإنشاء الملف يدوياً، فيجب أن تكون على دراية بالإرشادات المستخدمة في الملف. يمكنك تعديل الملف لاحقاً بعد معرفة كيفية عملها.
تأخير الزحف (Crawl-delay)
تُستخدم هذه التوجيهات لمنع الروبوتات من تحميل المضيف بشكل زائد، حيث يمكن أن تؤدي الكثير من الطلبات إلى تحميل زائد على الخادم مما يؤدي إلى تجربة مستخدم سيئة. يتم التعامل مع توجيه تأخير الزحف بطرق مختلفة من قبل الروبوتات المختلفة. بالنسبة لـ Yandex، يكون التوجيه عبارة عن فترة انتظار بين الزيارات المتتالية، أما بالنسبة لـ Bing، فهو يشبه نافذة زمنية تزور فيها الروبوت الموقع مرة واحدة فقط، ولـ Google، يمكنك استخدام وحدة تحكم البحث للتحكم في زيارات الروبوتات.
السماح (Allow)
يُستخدم توجيه السماح لتمكين فهرسة الروابط التالية. يمكنك إضافة أي عدد من الروابط التي تريدها، خاصة إذا كان الموقع يحتوي على الكثير من الصفحات.
منع الفهرسة (Disallow)
الغرض الأساسي من ملف Robots هو منع الروبوتات من زيارة الروابط أو الأدلة المذكورة. يتم الوصول إلى هذه الأدلة من قبل روبوتات أخرى تحتاج إلى التحقق من البرمجيات الخبيثة لأنها لا تتعاون مع المعيار.
الفرق بين خريطة الموقع وملف Robots.txt
خريطة الموقع ضرورية لجميع المواقع الإلكترونية حيث تحتوي على معلومات مفيدة لمحركات البحث. تخبر خريطة الموقع الروبوتات بعدد مرات تحديث الموقع ونوع المحتوى الذي يوفره. الهدف الرئيسي منها هو إبلاغ محركات البحث بجميع الصفحات التي تحتاج إلى زحف، بينما ملف robots.txt مخصص للروبوتات. يُخبر ملف robots.txt الروبوتات بأي صفحة يجب زحفها وأيها لا. خريطة الموقع ضرورية لفهرسة موقعك، بينما ملف robots.txt ليس ضرورياً (إذا لم يكن لديك صفحات لا تحتاج إلى فهرستها).
كيفية إنشاء ملف Robots باستخدام مولد Google Robots File Generator
- ملف robots.txt سهل الإنشاء، ولكن بالنسبة للأشخاص الذين لا يعرفون كيفية القيام بذلك، يحتاجون إلى اتباع التعليمات التالية لتوفير الوقت.
- عند الدخول إلى صفحة مولد robots.txt الجديد، سترى بعض الخيارات. ليست جميع الخيارات إلزامية، ولكن عليك الاختيار بعناية. يحتوي الصف الأول على القيم الافتراضية لجميع الروبوتات وإذا كنت ترغب في الاحتفاظ بتأخير الزحف. اتركها كما هي إذا لم ترغب في تغييرها.
- الصف الثاني يتعلق بخريطة الموقع، تأكد من أن لديك واحدة ولا تنسَ ذكرها في ملف robots.txt. بعد ذلك، يمكنك الاختيار من بين عدة خيارات لمحركات البحث إذا كنت ترغب في أن تزحف روبوتات محركات البحث أو لا. الكتلة الثانية مخصصة للصور إذا كنت تريد السماح بفهرستها، والعمود الثالث هو لإصدار الجوال من الموقع.
- الخيار الأخير مخصص للتوجيه بالمنع، حيث ستقيد الروبوتات من فهرسة المناطق من الصفحة. تأكد من إضافة الشرطة المائلة للأمام قبل ملء الحقل بعنوان الدليل أو الصفحة.