Adakah Laman Web Anda Menyekat ChatGPT? robots.txt untuk Perangkak AI di Laman B2B
Sebelum kandungan, semak akses. Banyak laman web eksport menyekat perangkak carian AI secara tidak sengaja melalui robots.txt, CDN atau pemalam keselamatan. Begini cara membezakan bot carian daripada bot latihan dan apa yang patut dibenarkan.

Pasukan IT kami menyekat "bot AI" di laman web tahun lepas. Mungkinkah itu sebabnya ChatGPT tidak pernah memaparkan kilang kami, dan apa yang patut kami benarkan?
Jawapan ringkasBesar kemungkinan. Syarikat AI menjalankan bot berasingan untuk carian dan untuk latihan model. OpenAI menyatakan laman yang memilih keluar daripada OAI-SearchBot tidak dipaparkan dalam jawapan carian ChatGPT, manakala GPTBot hanya mengawal latihan. Benarkan perangkak carian (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot), putuskan secara berasingan tentang bot latihan seperti GPTBot dan Google-Extended, dan semak bahawa CDN atau tembok api anda tidak menyekatnya tanpa mengira robots.txt.
Perkara utama
- OAI-SearchBot OpenAI memaparkan laman dalam carian ChatGPT; GPTBot adalah untuk latihan. Tetapannya berasingan, jadi anda boleh membenarkan carian dan menolak latihan.
- OpenAI menyatakan perubahan robots.txt boleh mengambil kira-kira 24 jam untuk memberi kesan pada carian ChatGPT.
- PerplexityBot memaparkan dan memautkan laman dalam hasil Perplexity dan, menurut Perplexity, tidak digunakan untuk melatih model asas.
- Google-Extended mengawal penggunaan kandungan anda untuk latihan dan grounding Gemini; Google menyatakan ia tidak menjejaskan kemasukan atau kedudukan dalam Google Search.
- Tembok api dan CDN boleh menyekat perangkak walaupun robots.txt membenarkannya; Perplexity menerbitkan julat IP dan arahan WAF atas sebab ini.
Sebilangan besar laman web eksport tidak kelihatan dalam carian AI atas sebab yang membosankan: perangkak tidak dapat masuk. Pada suatu masa dalam dua tahun lalu, seseorang telah menambah peraturan "sekat bot AI", menghidupkan perlindungan bot CDN atau memasang pemalam keselamatan. Laman masih berfungsi untuk manusia, jadi tiada siapa yang perasan. Kemudian pasukan menghabiskan berbulan-bulan menulis semula kandungan yang enjin carian AI tidak pernah dibenarkan membaca.
Panduan ini ialah semakan teknikal 30 minit untuk laman web kilang dan B2B. Ia tidak akan menjadikan anda kelihatan dengan sendirinya, tetapi jika akses rosak, tiada usaha lain yang akan dikira.
Perangkak AI mana untuk carian, dan mana untuk latihan?
Idea utamanya: syarikat AI memisahkan bot yang mencari halaman untuk dipaparkan dalam jawapan daripada bot yang mengumpul kandungan untuk latihan model. Anda boleh membuat pilihan berbeza untuk setiap satu.
| Syarikat | User agent | Tujuan (mengikut dokumentasi syarikat) |
|---|---|---|
| OpenAI | OAI-SearchBot | Memaparkan laman web dalam ciri carian ChatGPT. Laman yang memilih keluar tidak dipaparkan dalam jawapan carian ChatGPT, walaupun masih boleh muncul sebagai pautan navigasi. |
| OpenAI | GPTBot | Merangkak kandungan yang mungkin digunakan untuk melatih model asas OpenAI. Melarangnya memberi isyarat bahawa kandungan tidak patut digunakan untuk latihan. |
| OpenAI | ChatGPT-User | Melawat halaman untuk tindakan pengguna tertentu. OpenAI menyatakan peraturan robots.txt mungkin tidak terpakai dan ia tidak digunakan untuk menentukan apa yang muncul dalam carian. |
| Perplexity | PerplexityBot | Memaparkan dan memautkan laman web dalam hasil carian Perplexity; tidak digunakan untuk merangkak kandungan bagi model asas AI. |
| Perplexity | Perplexity-User | Mengambil halaman apabila pengguna bertanya soalan; secara amnya mengabaikan robots.txt kerana pengguna yang meminta pengambilan itu. |
| Google-Extended | Token robots.txt yang mengawal sama ada kandungan yang dirangkak Google boleh digunakan untuk latihan dan grounding Gemini. Ia tidak menjejaskan kemasukan atau kedudukan dalam Google Search. |
Ciri AI Google sendiri dalam Search berfungsi secara berbeza. Panduan Google menyatakan AI terbina dalam Search, jadi peraturan robots.txt untuk Googlebot ialah kawalan bagi cara laman dirangkak untuk Search, termasuk AI Overviews dan AI Mode. Menyekat Googlebot untuk "memilih keluar daripada AI" juga akan menyingkirkan anda daripada hasil carian biasa.
Apa yang patut dinyatakan dalam robots.txt laman web kilang?
Bagi kebanyakan pengilang eksport, matlamatnya ialah untuk ditemui, jadi benarkan perangkak carian. Sama ada untuk membenarkan perangkak latihan ialah keputusan perniagaan; menolaknya tidak menyingkirkan anda daripada carian AI. Titik permulaan yang mudah kelihatan seperti ini:
| Baris robots.txt | Kesan |
|---|---|
User-agent: OAI-SearchBot / Allow: / | Layak untuk jawapan carian ChatGPT |
User-agent: PerplexityBot / Allow: / | Layak untuk hasil Perplexity |
User-agent: Googlebot / Allow: / | Google Search, termasuk AI Overviews dan AI Mode |
User-agent: Bingbot / Allow: / | Carian Bing |
User-agent: GPTBot / Allow atau Disallow | Pilihan anda tentang latihan model OpenAI |
User-agent: Google-Extended / Allow atau Disallow | Pilihan anda tentang latihan dan grounding Gemini |
Sitemap: https://www.example.com/sitemap.xml | Membantu perangkak menemui setiap halaman |
Jauhkan kawasan peribadi, seperti portal pengedar atau senarai harga, daripada perangkak dengan perlindungan log masuk, bukan sekadar robots.txt. Dokumentasi robots.txt Google dengan jelas menyatakan bahawa robots.txt bukan mekanisme untuk menghalang halaman daripada Google; gunakan noindex atau perlindungan kata laluan untuk tujuan itu.
Mengapa tembok api boleh menyekat perangkak AI walaupun robots.txt membenarkannya?
robots.txt ialah permintaan; CDN, tembok api atau pemalam keselamatan anda ialah pintu pagar. Banyak ciri perlindungan bot mencabar atau menyekat perangkak yang tidak dikenali sebelum ia sempat membaca robots.txt. Google menyenaraikan "ensuring that crawling is allowed in robots.txt, and by any CDN or hosting infrastructure" (memastikan perangkakan dibenarkan dalam robots.txt dan oleh mana-mana CDN atau infrastruktur pengehosan) antara asas untuk ciri AI. Perplexity pergi lebih jauh dan menerbitkan senarai alamat IP serta peraturan tembok api aplikasi web langkah demi langkah supaya pemilik laman boleh membenarkan botnya. OpenAI juga menerbitkan julat IP untuk perangkaknya.
Tanya sesiapa yang mengurus pengehosan anda tiga soalan: adakah perlindungan bot dihidupkan, adakah ia mempunyai senarai benar, dan adakah perangkak carian di atas ada dalam senarai itu? Kemudian semak log pelayan anda untuk user agent dalam jadual. Jika ia muncul dan menerima ralat, atau tidak pernah muncul langsung, anda telah menemui masalahnya.
Bagaimana anda menyemak akses dalam 30 minit?
- Buka yoursite.com/robots.txt. Cari
Disallow: /di bawahUser-agent: *atau di bawah mana-mana user agent AI. - Semak CDN atau tembok api untuk perlindungan bot, sekatan negara atau togol "AI scraper".
- Cari dalam log pelayan anda untuk OAI-SearchBot, PerplexityBot dan Googlebot, serta kod status yang diterimanya.
- Sahkan pengindeksan dalam Google Search Console untuk halaman produk dan keupayaan utama anda.
- Uji semula dalam ChatGPT selepas sehari. OpenAI menyatakan perubahan robots.txt boleh mengambil kira-kira 24 jam untuk dicerminkan dalam carian.
- Tulis dasar itu, supaya kemas kini keselamatan seterusnya tidak membatalkannya.
Adakah membenarkan perangkak bermakna AI akan mengesyorkan anda?
Tidak. Akses menjadikan anda layak; ia tidak menjadikan anda dipilih. Setelah perangkak dapat membaca laman anda, soalan seterusnya ialah sama ada halaman anda menjawab soalan pembeli dengan fakta yang spesifik, dan sama ada maklumat syarikat anda konsisten di seluruh web. Tetapi akses didahulukan. Ia pembetulan paling murah dalam GEO dan yang paling kerap terlepas.
Cara ToucHigh membantu
GEO Autopilot ToucHigh memulakan setiap penglibatan dengan semakan seperti ini:
- audit tentang di mana laman anda tidak kelihatan merentas ChatGPT, Perplexity, Google AI dan Gemini;
- pembetulan ditulis dan diterbitkan untuk anda, termasuk halaman, jawapan dan data entiti;
- bahagian petikan AI dijejaki selepas itu, supaya anda dapat melihat kesan membuka pintu pagar.
Tempah panggilan strategi 30 minit dan kami akan melihat keterlihatan AI laman anda secara langsung.
Kilang dan pembekal B2B: lihat cara ToucHigh mengendalikan keterlihatan pembekal dalam carian AI. Mahu keterlihatan menjadi saluran jualan? Kenali ToucHigh PRO, perkhidmatan outbound berasaskan strategi kami.
Soalan lazim
Jika kami menyekat GPTBot, adakah ChatGPT akan berhenti memaparkan laman kami?
Tidak, menurut OpenAI. GPTBot mengawal sama ada kandungan boleh digunakan untuk latihan model; OAI-SearchBot mengawal kemunculan dalam carian ChatGPT. Kedua-dua tetapan adalah berasingan, jadi anda boleh melarang GPTBot dan masih membenarkan OAI-SearchBot.
Adakah menyekat Google-Extended menyingkirkan kami daripada AI Overviews?
Tidak. Google menyatakan Google-Extended tidak menjejaskan kemasukan dalam Google Search, dan AI Overviews serta AI Mode ialah sebahagian daripada Search, yang dikawal melalui Googlebot. Untuk mengehadkan apa yang muncul dalam coretan dan ciri AI, Google merujuk kepada nosnippet, data-nosnippet, max-snippet atau noindex.
Adakah kami memerlukan fail llms.txt untuk ditemui oleh AI?
Google menyatakan anda tidak memerlukan fail baharu yang boleh dibaca mesin atau fail teks AI untuk muncul dalam ciri AI-nya. Sesetengah laman menerbitkan llms.txt sebagai ringkasan tambahan untuk alat AI, tetapi ia bukan pengganti halaman yang boleh dirangkak.
Berapa lama selepas membetulkan robots.txt kami akan melihat perubahan?
OpenAI menyatakan sistemnya boleh mengambil kira-kira 24 jam untuk menyesuaikan diri dengan kemas kini robots.txt bagi carian. Dipetik masih bergantung pada kandungan anda, jadi ukur dalam beberapa minggu berikutnya dan bukannya keesokan harinya.
Sumber
- Overview of OpenAI Crawlers — OpenAI
- Perplexity Crawlers — Perplexity
- Google's common crawlers (Google-Extended) — Google Search Central
- Introduction to robots.txt — Google Search Central
- AI features and your website — Google Search Central
Mengapa kami menulis iniKami menulis ini kerana perkara pertama yang kami semak pada laman web kilang baharu ialah sama ada perangkak AI boleh masuk, dan jawapannya "tidak" lebih kerap daripada yang dijangka sesiapa.

