GEO और AI सर्च

क्या आपकी वेबसाइट ChatGPT को ब्लॉक कर रही है? B2B साइटों पर AI क्रॉलर के लिए robots.txt

कंटेंट से पहले एक्सेस जाँचें। कई एक्सपोर्ट वेबसाइटें robots.txt, CDN या सिक्योरिटी प्लगइन के ज़रिए गलती से AI सर्च क्रॉलर को ब्लॉक कर देती हैं। सर्च बॉट और ट्रेनिंग बॉट में फ़र्क कैसे करें और क्या अनुमति दें, यहाँ जानें।

ToucHigh रिसर्च टीम को प्रकाशित6 मिनट पढ़ेंहिन्दी
बैंगनी आँखों वाला एक दोस्ताना AI चैट बबल एक साफ़ पत्थर के कुएँ में नारंगी बाल्टी उतार रहा है, जिसके चारों ओर एक लैब फ़्लास्क, एक रूलर, एक प्रोडक्ट बोतल और एक खाली क्लिपबोर्ड है, जबकि पास में गहरे रंग की ज़ंजीर की कड़ियों का धूल भरा ढेर अनदेखा पड़ा है।
“
इस लेख के पीछे का प्रश्न

हमारी IT टीम ने पिछले साल वेबसाइट पर "AI बॉट" ब्लॉक कर दिए थे। क्या यही वजह हो सकती है कि ChatGPT हमारी फ़ैक्टरी कभी नहीं दिखाता, और हमें किसे अनुमति देनी चाहिए?

संक्षिप्त जवाबकाफ़ी संभव है। AI कंपनियाँ सर्च और मॉडल ट्रेनिंग के लिए अलग-अलग बॉट चलाती हैं। OpenAI कहता है कि जो साइटें OAI-SearchBot से ऑप्ट आउट करती हैं, वे ChatGPT सर्च जवाबों में नहीं दिखतीं, जबकि GPTBot सिर्फ़ ट्रेनिंग को नियंत्रित करता है। सर्च क्रॉलर (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot) को अनुमति दें, GPTBot और Google-Extended जैसे ट्रेनिंग बॉट के बारे में अलग से फ़ैसला करें, और जाँचें कि आपका CDN या फ़ायरवॉल robots.txt से अलग उन्हें ब्लॉक तो नहीं कर रहा।

मुख्य बातें

  • OpenAI का OAI-SearchBot साइटों को ChatGPT सर्च में दिखाता है; GPTBot ट्रेनिंग के लिए है। ये सेटिंग स्वतंत्र हैं, इसलिए आप सर्च की अनुमति देकर ट्रेनिंग से इनकार कर सकते हैं।
  • OpenAI कहता है कि robots.txt के बदलावों का ChatGPT सर्च पर असर होने में लगभग 24 घंटे लग सकते हैं।
  • PerplexityBot साइटों को Perplexity के नतीजों में दिखाता और लिंक करता है और, Perplexity के अनुसार, फ़ाउंडेशन मॉडल को ट्रेन करने में इस्तेमाल नहीं होता।
  • Google-Extended नियंत्रित करता है कि आपका कंटेंट Gemini ट्रेनिंग और ग्राउंडिंग में इस्तेमाल हो या नहीं; Google कहता है कि इसका Google Search में शामिल होने या रैंकिंग पर असर नहीं होता।
  • robots.txt के अनुमति देने पर भी फ़ायरवॉल और CDN क्रॉलर को ब्लॉक कर सकते हैं; इसी वजह से Perplexity IP रेंज और WAF निर्देश प्रकाशित करता है।

हैरानी की बात है कि कई एक्सपोर्ट वेबसाइटें एक साधारण वजह से AI सर्च के लिए अदृश्य हैं: क्रॉलर अंदर नहीं जा पाते। पिछले दो सालों में किसी समय किसी ने "AI बॉट ब्लॉक करें" नियम जोड़ा, CDN का बॉट प्रोटेक्शन चालू किया या कोई सिक्योरिटी प्लगइन इंस्टॉल किया। साइट लोगों के लिए अब भी काम करती है, इसलिए किसी का ध्यान नहीं जाता। फिर टीम महीनों ऐसा कंटेंट दोबारा लिखने में लगाती है जिसे AI सर्च इंजन को कभी पढ़ने ही नहीं दिया गया।

यह गाइड फ़ैक्टरी और B2B वेबसाइटों के लिए 30 मिनट की तकनीकी जाँच है। यह अपने आप आपको दृश्यमान नहीं बनाएगी, लेकिन अगर एक्सेस टूटा है, तो आपका बाकी कोई भी काम गिना नहीं जाएगा।

कौन-से AI क्रॉलर सर्च के लिए हैं, और कौन-से ट्रेनिंग के लिए?

मुख्य बात: AI कंपनियाँ उस बॉट को, जो जवाबों में दिखाने के लिए पेज ढूँढता है, उस बॉट से अलग रखती हैं जो मॉडल ट्रेनिंग के लिए कंटेंट इकट्ठा करता है। आप दोनों के लिए अलग फ़ैसले ले सकते हैं।

कंपनीयूज़र एजेंटउद्देश्य (कंपनी के दस्तावेज़ के अनुसार)
OpenAIOAI-SearchBotChatGPT के सर्च फ़ीचर्स में वेबसाइटें दिखाता है। ऑप्ट आउट करने वाली साइटें ChatGPT सर्च जवाबों में नहीं दिखतीं, हालाँकि वे फिर भी नेविगेशनल लिंक के रूप में दिख सकती हैं।
OpenAIGPTBotऐसा कंटेंट क्रॉल करता है जो OpenAI के फ़ाउंडेशन मॉडल की ट्रेनिंग में इस्तेमाल हो सकता है। इसे disallow करना संकेत देता है कि कंटेंट ट्रेनिंग में इस्तेमाल नहीं होना चाहिए।
OpenAIChatGPT-Userकुछ यूज़र कार्रवाइयों के लिए पेज पर जाता है। OpenAI कहता है कि robots.txt नियम शायद लागू न हों और इसका इस्तेमाल यह तय करने में नहीं होता कि सर्च में क्या दिखेगा।
PerplexityPerplexityBotPerplexity के सर्च नतीजों में वेबसाइटें दिखाता और लिंक करता है; AI फ़ाउंडेशन मॉडल के लिए कंटेंट क्रॉल करने में इस्तेमाल नहीं होता।
PerplexityPerplexity-Userजब कोई यूज़र सवाल पूछता है तो पेज लाता है; आमतौर पर robots.txt को नज़रअंदाज़ करता है क्योंकि पेज लाने का अनुरोध यूज़र ने किया था।
GoogleGoogle-Extendedएक robots.txt टोकन जो नियंत्रित करता है कि Google जो कंटेंट क्रॉल करता है वह Gemini ट्रेनिंग और ग्राउंडिंग में इस्तेमाल हो सकता है या नहीं। इसका Google Search में शामिल होने या रैंकिंग पर असर नहीं होता।

Search में Google के अपने AI फ़ीचर्स अलग तरह से काम करते हैं। Google का मार्गदर्शन कहता है कि AI, Search में ही बना हुआ है, इसलिए Googlebot के लिए robots.txt नियम ही यह नियंत्रित करते हैं कि साइट Search के लिए कैसे क्रॉल हो, AI Overviews और AI Mode सहित। "AI से ऑप्ट आउट" करने के लिए Googlebot को ब्लॉक करना आपको सामान्य सर्च नतीजों से भी हटा देगा।

फ़ैक्टरी वेबसाइट के robots.txt में क्या लिखा होना चाहिए?

ज़्यादातर एक्सपोर्ट निर्माताओं का लक्ष्य खोजा जाना है, इसलिए सर्च क्रॉलर को अनुमति दें। ट्रेनिंग क्रॉलर को अनुमति देनी है या नहीं, यह बिज़नेस फ़ैसला है; उन्हें मना करने से आप AI सर्च से नहीं हटते। एक आसान शुरुआती बिंदु ऐसा दिखता है:

robots.txt लाइनअसर
User-agent: OAI-SearchBot / Allow: /ChatGPT सर्च जवाबों के लिए योग्य
User-agent: PerplexityBot / Allow: /Perplexity नतीजों के लिए योग्य
User-agent: Googlebot / Allow: /Google Search, AI Overviews और AI Mode सहित
User-agent: Bingbot / Allow: /Bing सर्च
User-agent: GPTBot / Allow या DisallowOpenAI मॉडल ट्रेनिंग के बारे में आपका फ़ैसला
User-agent: Google-Extended / Allow या DisallowGemini ट्रेनिंग और ग्राउंडिंग के बारे में आपका फ़ैसला
Sitemap: https://www.example.com/sitemap.xmlक्रॉलर को हर पेज ढूँढने में मदद करता है

डीलर पोर्टल या प्राइस लिस्ट जैसे निजी हिस्सों को सिर्फ़ robots.txt से नहीं, लॉगिन सुरक्षा से क्रॉलर की पहुँच से बाहर रखें। Google का robots.txt दस्तावेज़ साफ़ कहता है कि robots.txt किसी पेज को Google से बाहर रखने का तरीका नहीं है; इसके लिए noindex या पासवर्ड सुरक्षा इस्तेमाल करें।

robots.txt के अनुमति देने पर भी फ़ायरवॉल AI क्रॉलर को ब्लॉक क्यों कर सकता है?

robots.txt एक अनुरोध है; आपका CDN, फ़ायरवॉल या सिक्योरिटी प्लगइन एक दरवाज़ा है। कई बॉट-प्रोटेक्शन फ़ीचर अनजान क्रॉलर को robots.txt पढ़ने से पहले ही चुनौती देते या ब्लॉक कर देते हैं। Google AI फ़ीचर्स की बुनियादी बातों में "यह पक्का करना कि robots.txt में, और किसी भी CDN या होस्टिंग इन्फ़्रास्ट्रक्चर द्वारा, क्रॉलिंग की अनुमति हो" शामिल करता है। Perplexity इससे आगे जाकर IP एड्रेस सूचियाँ और वेब एप्लिकेशन फ़ायरवॉल के कदम-दर-कदम नियम प्रकाशित करता है ताकि साइट मालिक उसके बॉट को अनुमति दे सकें। OpenAI भी अपने क्रॉलर की IP रेंज प्रकाशित करता है।

जो आपकी होस्टिंग संभालता है, उससे तीन सवाल पूछें: क्या बॉट प्रोटेक्शन चालू है, क्या उसमें अनुमति सूची है, और क्या ऊपर बताए सर्च क्रॉलर उसमें हैं? फिर टेबल में दिए यूज़र एजेंट के लिए अपने सर्वर लॉग जाँचें। अगर वे दिखते हैं और उन्हें एरर मिलते हैं, या वे कभी दिखते ही नहीं, तो आपको समस्या मिल गई है।

30 मिनट में एक्सेस कैसे जाँचें?

  1. yoursite.com/robots.txt खोलें। User-agent: * के नीचे या किसी AI यूज़र एजेंट के नीचे Disallow: / देखें।
  2. बॉट प्रोटेक्शन, देश ब्लॉकिंग या "AI scraper" टॉगल के लिए CDN या फ़ायरवॉल जाँचें।
  3. OAI-SearchBot, PerplexityBot और Googlebot के लिए, और उन्हें मिलने वाले स्टेटस कोड के लिए अपने सर्वर लॉग में सर्च करें।
  4. अपने मुख्य प्रोडक्ट और क्षमता पेजों के लिए Google Search Console में इंडेक्सिंग पक्की करें।
  5. एक दिन बाद ChatGPT में फिर से टेस्ट करें। OpenAI कहता है कि robots.txt के बदलाव सर्च में दिखने में लगभग 24 घंटे ले सकते हैं।
  6. नीति लिखकर रखें, ताकि अगला सिक्योरिटी अपडेट इसे पलट न दे।

क्या क्रॉलर को अनुमति देने का मतलब है कि AI आपकी सिफ़ारिश करेगा?

नहीं। एक्सेस आपको योग्य बनाता है; चुना जाना पक्का नहीं करता। क्रॉलर के आपकी साइट पढ़ पाने के बाद अगले सवाल हैं कि क्या आपके पेज खरीदारों के सवालों का जवाब ठोस तथ्यों से देते हैं, और क्या आपकी कंपनी की जानकारी पूरे वेब पर सुसंगत है। लेकिन एक्सेस पहले आता है। यह GEO का सबसे सस्ता सुधार है और सबसे ज़्यादा छूटने वाला भी।

GEO Autopilot · Social Autopilot · Ads

ToucHigh कैसे मदद करता है

ToucHigh का GEO Autopilot हर काम की शुरुआत इसी तरह की जाँच से करता है:

  • ChatGPT, Perplexity, Google AI और Gemini पर आपकी साइट कहाँ अदृश्य है, इसका ऑडिट;
  • आपके लिए लिखे और प्रकाशित किए गए सुधार, जिनमें पेज, जवाब और एंटिटी डेटा शामिल हैं;
  • बाद में ट्रैक किया गया AI-साइटेशन शेयर, ताकि आप दरवाज़ा खोलने का असर देख सकें।

30 मिनट की रणनीति कॉल बुक करें और हम आपकी साइट की AI विज़िबिलिटी लाइव देखेंगे।

फ़ैक्टरियाँ और B2B सप्लायर: देखें ToucHigh AI सर्च में सप्लायर विज़िबिलिटी कैसे संभालता है। विज़िबिलिटी को पाइपलाइन में बदलना चाहते हैं? ToucHigh PRO देखें, रणनीति-पहले आउटरीच।

अक्सर पूछे जाने वाले प्रश्न

अगर हम GPTBot ब्लॉक करें, तो क्या ChatGPT हमारी साइट दिखाना बंद कर देगा?

OpenAI के अनुसार नहीं। GPTBot यह नियंत्रित करता है कि कंटेंट मॉडल ट्रेनिंग में इस्तेमाल हो सकता है या नहीं; OAI-SearchBot ChatGPT सर्च में दिखने को नियंत्रित करता है। दोनों सेटिंग स्वतंत्र हैं, इसलिए आप GPTBot को disallow करके भी OAI-SearchBot को अनुमति दे सकते हैं।

क्या Google-Extended ब्लॉक करने से हम AI Overviews से हट जाते हैं?

नहीं। Google कहता है कि Google-Extended का Google Search में शामिल होने पर असर नहीं होता, और AI Overviews और AI Mode, Search का हिस्सा हैं, जिन्हें Googlebot के ज़रिए नियंत्रित किया जाता है। स्निपेट और AI फ़ीचर्स में दिखने वाली चीज़ सीमित करने के लिए Google nosnippet, data-nosnippet, max-snippet या noindex की ओर इशारा करता है।

क्या AI द्वारा खोजे जाने के लिए हमें llms.txt फ़ाइल चाहिए?

Google कहता है कि उसके AI फ़ीचर्स में दिखने के लिए आपको नई मशीन-रीडेबल फ़ाइलों या AI टेक्स्ट फ़ाइलों की ज़रूरत नहीं है। कुछ साइटें AI टूल्स के लिए अतिरिक्त सारांश के रूप में llms.txt प्रकाशित करती हैं, लेकिन यह क्रॉल किए जा सकने वाले पेजों का विकल्प नहीं है।

robots.txt ठीक करने के बाद बदलाव दिखने में कितना समय लगेगा?

OpenAI कहता है कि सर्च के लिए robots.txt अपडेट के अनुसार ढलने में उसके सिस्टम को लगभग 24 घंटे लग सकते हैं। हवाला मिलना फिर भी आपके कंटेंट पर निर्भर है, इसलिए अगले दिन के बजाय आने वाले हफ़्तों में मापें।

स्रोत

  1. Overview of OpenAI Crawlers — OpenAI
  2. Perplexity Crawlers — Perplexity
  3. Google's common crawlers (Google-Extended) — Google Search Central
  4. Introduction to robots.txt — Google Search Central
  5. AI features and your website — Google Search Central

हमने यह क्यों लिखाहमने यह इसलिए लिखा क्योंकि किसी नई फ़ैक्टरी वेबसाइट पर हम सबसे पहले यही जाँचते हैं कि AI क्रॉलर अंदर जा पाते हैं या नहीं, और जवाब किसी की उम्मीद से ज़्यादा बार "नहीं" होता है।

ToucHigh

देखें कि अमेरिकी AI सर्च में आप कहाँ अदृश्य हैं

30 मिनट की मुफ़्त कॉल बुक करें और हम आपके स्टोर की AI विज़िबिलिटी का लाइव ऑडिट करेंगे।

30 मिनट का रणनीति सत्र बुक करें →ToucHigh में लॉग इन करें