هل يحظر موقعك ChatGPT؟ ملف robots.txt لزواحف الذكاء الاصطناعي في مواقع B2B
قبل المحتوى، تحقّق من الوصول. كثير من مواقع التصدير تحظر زواحف البحث بالذكاء الاصطناعي عن غير قصد عبر robots.txt أو شبكة CDN أو إضافة أمان. إليك كيف تميّز روبوتات البحث عن روبوتات التدريب وما يجب السماح به.

حظر فريق تقنية المعلومات لدينا "روبوتات الذكاء الاصطناعي" على الموقع العام الماضي. هل يمكن أن يكون هذا سبب عدم ظهور مصنعنا في ChatGPT أبداً، وما الذي يجب أن نسمح به؟
الإجابة المختصرةهذا وارد جداً. تشغّل شركات الذكاء الاصطناعي روبوتات منفصلة للبحث ولتدريب النماذج. تقول OpenAI إن المواقع التي تنسحب من OAI-SearchBot لا تظهر في إجابات بحث ChatGPT، بينما لا يتحكم GPTBot إلا في التدريب. اسمح لزواحف البحث (OAI-SearchBot وPerplexityBot وGooglebot وBingbot)، وقرّر بشكل منفصل بشأن روبوتات التدريب مثل GPTBot وGoogle-Extended، وتحقّق من أن شبكة CDN أو جدار الحماية لا يحظرانها بغض النظر عن robots.txt.
أهم النقاط
- يُظهر OAI-SearchBot من OpenAI المواقع في بحث ChatGPT؛ أما GPTBot فللتدريب. الإعدادان مستقلان، لذا يمكنك السماح بالبحث ورفض التدريب.
- تقول OpenAI إن تغييرات robots.txt قد تستغرق نحو 24 ساعة لتؤثر في بحث ChatGPT.
- يُظهر PerplexityBot المواقع ويضع روابطها في نتائج Perplexity، ووفق Perplexity لا يُستخدم لتدريب النماذج الأساسية.
- يتحكم Google-Extended في استخدام محتواك لتدريب Gemini وتأسيس إجاباته (grounding)؛ وتقول Google إنه لا يؤثر في الإدراج أو الترتيب في Google Search.
- يمكن لجدران الحماية وشبكات CDN حظر الزواحف حتى عندما يسمح بها robots.txt؛ ولهذا السبب تنشر Perplexity نطاقات عناوين IP وتعليمات WAF.
عدد مفاجئ من مواقع التصدير غير مرئي لبحث الذكاء الاصطناعي لسبب ممل: الزواحف لا تستطيع الدخول. في وقت ما خلال العامين الماضيين، أضاف أحدهم قاعدة "حظر روبوتات الذكاء الاصطناعي"، أو فعّل حماية الروبوتات في شبكة CDN، أو ثبّت إضافة أمان. يظل الموقع يعمل للناس، فلا يلاحظ أحد. ثم يقضي الفريق أشهراً في إعادة كتابة محتوى لم يُسمح لمحركات البحث بالذكاء الاصطناعي بقراءته أصلاً.
هذا الدليل فحص تقني مدته 30 دقيقة لمواقع المصانع وB2B. لن يجعلك مرئياً وحده، لكن إذا كان الوصول معطّلاً، فلن يُحتسب أي شيء آخر تفعله.
أي زواحف الذكاء الاصطناعي للبحث، وأيها للتدريب؟
الفكرة الأساسية: تفصل شركات الذكاء الاصطناعي بين الروبوت الذي يجد الصفحات لعرضها في الإجابات والروبوت الذي يجمع المحتوى لتدريب النماذج. ويمكنك اتخاذ قرارات مختلفة لكل منهما.
| الشركة | وكيل المستخدم (User agent) | الغرض (وفق وثائق الشركة) |
|---|---|---|
| OpenAI | OAI-SearchBot | يُظهر المواقع في ميزات البحث في ChatGPT. المواقع المنسحبة لا تظهر في إجابات بحث ChatGPT، وإن كان يمكن أن تظهر كروابط تنقّل. |
| OpenAI | GPTBot | يزحف إلى محتوى قد يُستخدم لتدريب النماذج الأساسية لدى OpenAI. حظره يشير إلى أن المحتوى لا يجب استخدامه للتدريب. |
| OpenAI | ChatGPT-User | يزور الصفحات لتنفيذ إجراءات معينة يطلبها المستخدم. تقول OpenAI إن قواعد robots.txt قد لا تنطبق عليه، وإنه لا يُستخدم لتحديد ما يظهر في البحث. |
| Perplexity | PerplexityBot | يُظهر المواقع ويضع روابطها في نتائج بحث Perplexity؛ ولا يُستخدم للزحف إلى المحتوى لنماذج الذكاء الاصطناعي الأساسية. |
| Perplexity | Perplexity-User | يجلب الصفحات عندما يطرح المستخدم سؤالاً؛ ويتجاهل robots.txt عموماً لأن المستخدم هو من طلب الجلب. |
| Google-Extended | رمز في robots.txt يتحكم في ما إذا كان المحتوى الذي تزحف إليه Google يمكن استخدامه لتدريب Gemini وتأسيس إجاباته. ولا يؤثر في الإدراج أو الترتيب في Google Search. |
تعمل ميزات الذكاء الاصطناعي الخاصة بـ Google في البحث بشكل مختلف. تقول إرشادات Google إن الذكاء الاصطناعي مدمج في البحث، لذا فإن قواعد robots.txt الخاصة بـ Googlebot هي أداة التحكم في كيفية الزحف إلى الموقع لأغراض البحث، بما فيه AI Overviews وAI Mode. وحظر Googlebot "للانسحاب من الذكاء الاصطناعي" سيُخرجك أيضاً من نتائج البحث العادية.
ماذا يجب أن يقول ملف robots.txt في موقع المصنع؟
بالنسبة لمعظم المصنّعين المصدّرين، الهدف هو أن يُعثر عليهم، لذا اسمح لزواحف البحث. أما السماح لزواحف التدريب فقرار تجاري؛ ورفضها لا يُخرجك من بحث الذكاء الاصطناعي. نقطة بداية بسيطة تبدو هكذا:
| سطر robots.txt | الأثر |
|---|---|
User-agent: OAI-SearchBot / Allow: / | مؤهل لإجابات بحث ChatGPT |
User-agent: PerplexityBot / Allow: / | مؤهل لنتائج Perplexity |
User-agent: Googlebot / Allow: / | Google Search، بما فيه AI Overviews وAI Mode |
User-agent: Bingbot / Allow: / | بحث Bing |
User-agent: GPTBot / Allow أو Disallow | قرارك بشأن تدريب نماذج OpenAI |
User-agent: Google-Extended / Allow أو Disallow | قرارك بشأن تدريب Gemini وتأسيس إجاباته |
Sitemap: https://www.example.com/sitemap.xml | يساعد الزواحف على العثور على كل صفحة |
أبعِد المناطق الخاصة، مثل بوابة الموزّعين أو قوائم الأسعار، عن الزواحف بحماية تسجيل الدخول، لا بـ robots.txt وحده. توضّح وثائق Google حول robots.txt صراحةً أن robots.txt ليس آلية لإبقاء صفحة خارج Google؛ استخدم noindex أو الحماية بكلمة مرور لذلك.
لماذا يمكن لجدار الحماية حظر زواحف الذكاء الاصطناعي حتى عندما يسمح بها robots.txt؟
ملف robots.txt طلب؛ أما شبكة CDN أو جدار الحماية أو إضافة الأمان فبوّابة. كثير من ميزات الحماية من الروبوتات تتحدى الزواحف غير المألوفة أو تحظرها قبل أن تقرأ robots.txt أصلاً. تُدرج Google "التأكد من السماح بالزحف في robots.txt ومن قِبل أي شبكة CDN أو بنية استضافة" ضمن أساسياتها لميزات الذكاء الاصطناعي. وتذهب Perplexity أبعد، فتنشر قوائم عناوين IP وقواعد جدار حماية تطبيقات الويب خطوة بخطوة ليتمكن أصحاب المواقع من السماح لروبوتاتها. كما تنشر OpenAI نطاقات IP لزواحفها.
اطرح على من يدير استضافتك ثلاثة أسئلة: هل الحماية من الروبوتات مفعّلة، وهل لديها قائمة سماح، وهل زواحف البحث المذكورة أعلاه مدرجة فيها؟ ثم تحقّق من سجلات الخادم بحثاً عن وكلاء المستخدم الواردين في الجدول. إذا ظهروا وتلقّوا أخطاء، أو لم يظهروا أبداً، فقد وجدت المشكلة.
كيف تتحقق من الوصول في 30 دقيقة؟
- افتح yoursite.com/robots.txt. ابحث عن
Disallow: /تحتUser-agent: *أو تحت أي وكيل مستخدم للذكاء الاصطناعي. - تحقّق من شبكة CDN أو جدار الحماية بحثاً عن حماية الروبوتات أو حظر الدول أو مفاتيح "AI scraper".
- ابحث في سجلات الخادم عن OAI-SearchBot وPerplexityBot وGooglebot، ورموز الحالة التي تتلقاها.
- تأكد من الفهرسة في Google Search Console لصفحات المنتجات والقدرات الرئيسية.
- أعد الاختبار في ChatGPT بعد يوم. تقول OpenAI إن تغييرات robots.txt قد تستغرق نحو 24 ساعة لتنعكس في البحث.
- دوّن السياسة كتابياً، حتى لا يُلغيها تحديث الأمان التالي.
هل السماح للزواحف يعني أن الذكاء الاصطناعي سيوصي بك؟
لا. الوصول يجعلك مؤهلاً؛ لكنه لا يجعلك مختاراً. بمجرد أن تستطيع الزواحف قراءة موقعك، تصبح الأسئلة التالية: هل تجيب صفحاتك عن أسئلة المشترين بحقائق محددة، وهل معلومات شركتك متّسقة عبر الويب؟ لكن الوصول يأتي أولاً. إنه أرخص إصلاح في GEO وأكثرها إغفالاً.
كيف يساعد ToucHigh
يبدأ GEO Autopilot من ToucHigh كل تعاون بهذا النوع من الفحص:
- تدقيق للأماكن التي يكون فيها موقعك غير مرئي عبر ChatGPT وPerplexity وGoogle AI وGemini؛
- إصلاحات تُكتب وتُنشر نيابةً عنك، بما فيها الصفحات والإجابات وبيانات الكيان؛
- تتبّع حصة الاستشهاد في الذكاء الاصطناعي بعد ذلك، لترى أثر فتح البوابة.
احجز مكالمة استراتيجية مدتها 30 دقيقة، وسنفحص ظهور موقعك في الذكاء الاصطناعي مباشرةً.
المصانع وموردو B2B: شاهد كيف يتعامل ToucHigh مع ظهور الموردين في بحث الذكاء الاصطناعي. تريد تحويل الظهور إلى مسار مبيعات؟ تعرّف على ToucHigh PRO، التواصل بالاستراتيجية أولاً.
الأسئلة الشائعة
إذا حظرنا GPTBot، هل سيتوقف ChatGPT عن إظهار موقعنا؟
ليس وفق OpenAI. يتحكم GPTBot في ما إذا كان المحتوى يمكن استخدامه لتدريب النماذج؛ ويتحكم OAI-SearchBot في الظهور في بحث ChatGPT. الإعدادان مستقلان، لذا يمكنك حظر GPTBot مع السماح لـ OAI-SearchBot.
هل حظر Google-Extended يُخرجنا من AI Overviews؟
لا. تقول Google إن Google-Extended لا يؤثر في الإدراج في Google Search، وAI Overviews وAI Mode جزء من البحث يُتحكم فيهما عبر Googlebot. ولتقييد ما يظهر في المقتطفات وميزات الذكاء الاصطناعي، تشير Google إلى nosnippet أو data-nosnippet أو max-snippet أو noindex.
هل نحتاج إلى ملف llms.txt ليعثر علينا الذكاء الاصطناعي؟
تقول Google إنك لا تحتاج إلى ملفات جديدة قابلة للقراءة آلياً أو ملفات نصية للذكاء الاصطناعي للظهور في ميزاتها. تنشر بعض المواقع llms.txt كملخص إضافي لأدوات الذكاء الاصطناعي، لكنه ليس بديلاً عن صفحات قابلة للزحف.
بعد كم من الوقت من إصلاح robots.txt سنرى تغييراً؟
تقول OpenAI إن أنظمتها قد تستغرق نحو 24 ساعة للتكيّف مع تحديث robots.txt في البحث. لكن الاستشهاد بك لا يزال يعتمد على محتواك، لذا قِس على مدى الأسابيع التالية لا في اليوم التالي.
المصادر
- Overview of OpenAI Crawlers — OpenAI
- Perplexity Crawlers — Perplexity
- Google's common crawlers (Google-Extended) — Google Search Central
- Introduction to robots.txt — Google Search Central
- AI features and your website — Google Search Central
لماذا كتبنا هذاكتبنا هذا لأن أول ما نتحقق منه في أي موقع مصنع جديد هو ما إذا كانت زواحف الذكاء الاصطناعي تستطيع الدخول، والإجابة "لا" أكثر مما يتوقع أي أحد.

