GEO & pencarian AI

Apakah Situs Anda Memblokir ChatGPT? robots.txt untuk Crawler AI di Situs B2B

Sebelum konten, periksa akses. Banyak situs ekspor memblokir crawler pencarian AI tanpa sengaja lewat robots.txt, CDN, atau plugin keamanan. Begini cara membedakan bot pencarian dari bot pelatihan dan apa yang perlu diizinkan.

Tim Riset ToucHighTerbit 6 menit bacaBahasa Indonesia
Gelembung obrolan AI yang ramah dengan mata ungu menurunkan ember oranye ke sumur batu yang bersih, dikelilingi labu laboratorium, penggaris, botol produk, dan papan klip kosong, sementara tumpukan mata rantai gelap yang berdebu tergeletak tak dihiraukan di dekatnya.
“
Pertanyaan di balik artikel ini

Tim IT kami memblokir "bot AI" di situs web tahun lalu. Mungkinkah itu sebabnya ChatGPT tidak pernah menampilkan pabrik kami, dan apa yang sebaiknya kami izinkan?

Jawaban singkatSangat mungkin. Perusahaan AI menjalankan bot terpisah untuk pencarian dan untuk pelatihan model. OpenAI menyatakan situs yang menolak OAI-SearchBot tidak ditampilkan dalam jawaban pencarian ChatGPT, sedangkan GPTBot hanya mengatur pelatihan. Izinkan crawler pencarian (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot), putuskan secara terpisah soal bot pelatihan seperti GPTBot dan Google-Extended, dan pastikan CDN atau firewall Anda tidak memblokir mereka terlepas dari robots.txt.

Poin penting

  • OAI-SearchBot dari OpenAI menampilkan situs di pencarian ChatGPT; GPTBot untuk pelatihan. Pengaturannya terpisah, jadi Anda bisa mengizinkan pencarian dan menolak pelatihan.
  • OpenAI menyatakan perubahan robots.txt bisa memakan waktu sekitar 24 jam untuk berdampak pada pencarian ChatGPT.
  • PerplexityBot menampilkan dan menautkan situs di hasil Perplexity dan, menurut Perplexity, tidak dipakai untuk melatih model fondasi.
  • Google-Extended mengontrol penggunaan konten Anda untuk pelatihan dan grounding Gemini; Google menyatakan ini tidak memengaruhi penyertaan atau peringkat di Google Search.
  • Firewall dan CDN bisa memblokir crawler meskipun robots.txt mengizinkannya; karena itulah Perplexity menerbitkan rentang IP dan petunjuk WAF.

Banyak sekali situs ekspor tidak terlihat oleh pencarian AI karena alasan yang membosankan: crawler tidak bisa masuk. Suatu saat dalam dua tahun terakhir, seseorang menambahkan aturan "blokir bot AI", mengaktifkan proteksi bot di CDN, atau memasang plugin keamanan. Situsnya tetap berfungsi bagi manusia, jadi tak ada yang sadar. Lalu tim menghabiskan berbulan-bulan menulis ulang konten yang memang tidak pernah boleh dibaca mesin pencari AI.

Panduan ini adalah pemeriksaan teknis 30 menit untuk situs pabrik dan B2B. Ini saja tidak akan membuat Anda terlihat, tetapi jika aksesnya rusak, tidak ada hal lain yang Anda lakukan akan berarti.

Crawler AI mana yang untuk pencarian, dan mana yang untuk pelatihan?

Ide kuncinya: perusahaan AI memisahkan bot yang mencari halaman untuk ditampilkan di jawaban dari bot yang mengumpulkan konten untuk pelatihan model. Anda bisa membuat pilihan berbeda untuk masing-masing.

PerusahaanUser agentTujuan (menurut dokumentasi perusahaan)
OpenAIOAI-SearchBotMenampilkan situs web di fitur pencarian ChatGPT. Situs yang menolak tidak ditampilkan di jawaban pencarian ChatGPT, meskipun masih bisa muncul sebagai tautan navigasi.
OpenAIGPTBotMerayapi konten yang mungkin dipakai untuk melatih model fondasi OpenAI. Melarangnya menandakan bahwa konten tidak boleh dipakai untuk pelatihan.
OpenAIChatGPT-UserMengunjungi halaman untuk tindakan pengguna tertentu. OpenAI menyatakan aturan robots.txt mungkin tidak berlaku dan bot ini tidak dipakai untuk menentukan apa yang muncul di pencarian.
PerplexityPerplexityBotMenampilkan dan menautkan situs web di hasil pencarian Perplexity; tidak dipakai untuk merayapi konten bagi model fondasi AI.
PerplexityPerplexity-UserMengambil halaman saat pengguna mengajukan pertanyaan; umumnya mengabaikan robots.txt karena pengambilan itu diminta pengguna.
GoogleGoogle-ExtendedToken robots.txt yang mengontrol apakah konten yang dirayapi Google boleh dipakai untuk pelatihan dan grounding Gemini. Token ini tidak memengaruhi penyertaan atau peringkat di Google Search.

Fitur AI milik Google di Penelusuran bekerja berbeda. Panduan Google menyatakan AI sudah menyatu dengan Penelusuran, sehingga aturan robots.txt untuk Googlebot adalah kontrol cara situs dirayapi untuk Penelusuran, termasuk AI Overviews dan AI Mode. Memblokir Googlebot untuk "menolak AI" juga akan menghapus Anda dari hasil penelusuran biasa.

Apa isi robots.txt yang tepat untuk situs pabrik?

Bagi sebagian besar produsen ekspor, tujuannya adalah ditemukan, jadi izinkan crawler pencarian. Mengizinkan crawler pelatihan atau tidak adalah keputusan bisnis; menolaknya tidak menghapus Anda dari pencarian AI. Titik awal yang sederhana terlihat seperti ini:

Baris robots.txtEfek
User-agent: OAI-SearchBot / Allow: /Memenuhi syarat untuk jawaban pencarian ChatGPT
User-agent: PerplexityBot / Allow: /Memenuhi syarat untuk hasil Perplexity
User-agent: Googlebot / Allow: /Google Search, termasuk AI Overviews dan AI Mode
User-agent: Bingbot / Allow: /Pencarian Bing
User-agent: GPTBot / Allow atau DisallowPilihan Anda soal pelatihan model OpenAI
User-agent: Google-Extended / Allow atau DisallowPilihan Anda soal pelatihan dan grounding Gemini
Sitemap: https://www.example.com/sitemap.xmlMembantu crawler menemukan setiap halaman

Jauhkan area privat, seperti portal dealer atau daftar harga, dari crawler dengan proteksi login, bukan hanya robots.txt. Dokumentasi robots.txt Google dengan tegas menyatakan bahwa robots.txt bukan mekanisme untuk mencegah halaman masuk ke Google; gunakan noindex atau proteksi kata sandi untuk itu.

Mengapa firewall bisa memblokir crawler AI meskipun robots.txt mengizinkannya?

robots.txt adalah permintaan; CDN, firewall, atau plugin keamanan Anda adalah gerbang. Banyak fitur proteksi bot menantang atau memblokir crawler yang tidak dikenal sebelum mereka sempat membaca robots.txt. Google mencantumkan "memastikan perayapan diizinkan di robots.txt, serta oleh CDN atau infrastruktur hosting mana pun" sebagai salah satu dasar untuk fitur AI. Perplexity bahkan lebih jauh dengan menerbitkan daftar alamat IP dan aturan web application firewall langkah demi langkah agar pemilik situs bisa mengizinkan bot-botnya. OpenAI juga menerbitkan rentang IP untuk crawler-nya.

Ajukan tiga pertanyaan kepada pengelola hosting Anda: apakah proteksi bot aktif, apakah ada daftar izin (allow list), dan apakah crawler pencarian di atas ada di dalamnya? Lalu periksa log server untuk user agent di tabel. Jika mereka muncul dan mendapat error, atau tidak pernah muncul sama sekali, Anda sudah menemukan masalahnya.

Bagaimana memeriksa akses dalam 30 menit?

  1. Buka situsanda.com/robots.txt. Cari Disallow: / di bawah User-agent: * atau di bawah user agent AI mana pun.
  2. Periksa CDN atau firewall untuk proteksi bot, pemblokiran negara, atau tombol "AI scraper".
  3. Telusuri log server Anda untuk OAI-SearchBot, PerplexityBot, dan Googlebot, beserta kode status yang mereka terima.
  4. Pastikan pengindeksan di Google Search Console untuk halaman produk dan kapabilitas utama Anda.
  5. Uji ulang di ChatGPT setelah sehari. OpenAI menyatakan perubahan robots.txt bisa memakan waktu sekitar 24 jam untuk tercermin di pencarian.
  6. Tuliskan kebijakannya, agar pembaruan keamanan berikutnya tidak membatalkannya.

Apakah mengizinkan crawler berarti AI akan merekomendasikan Anda?

Tidak. Akses membuat Anda memenuhi syarat; akses tidak membuat Anda dipilih. Setelah crawler bisa membaca situs Anda, pertanyaan berikutnya adalah apakah halaman Anda menjawab pertanyaan pembeli dengan fakta spesifik, dan apakah informasi perusahaan Anda konsisten di seluruh web. Tetapi akses yang utama. Ini perbaikan termurah dalam GEO dan yang paling sering terlewat.

GEO Autopilot · Social Autopilot · Ads

Bagaimana ToucHigh membantu

GEO Autopilot dari ToucHigh memulai setiap kerja sama dengan pemeriksaan semacam ini:

  • audit di mana situs Anda tidak terlihat di ChatGPT, Perplexity, Google AI, dan Gemini;
  • perbaikan yang ditulis dan diterbitkan untuk Anda, termasuk halaman, jawaban, dan data entitas;
  • pangsa kutipan AI yang dipantau setelahnya, agar Anda bisa melihat dampak dibukanya gerbang.

Jadwalkan panggilan strategi 30 menit dan kami akan melihat visibilitas AI situs Anda secara langsung.

Pabrik dan pemasok B2B: lihat cara ToucHigh menangani visibilitas pemasok di pencarian AI. Ingin visibilitas berubah menjadi pipeline? Kenali ToucHigh PRO, layanan outbound berbasis strategi kami.

Pertanyaan umum

Jika kami memblokir GPTBot, apakah ChatGPT akan berhenti menampilkan situs kami?

Tidak, menurut OpenAI. GPTBot mengatur apakah konten boleh dipakai untuk pelatihan model; OAI-SearchBot mengatur kemunculan di pencarian ChatGPT. Kedua pengaturan itu terpisah, jadi Anda bisa melarang GPTBot dan tetap mengizinkan OAI-SearchBot.

Apakah memblokir Google-Extended menghapus kami dari AI Overviews?

Tidak. Google menyatakan Google-Extended tidak memengaruhi penyertaan di Google Search, dan AI Overviews serta AI Mode adalah bagian dari Penelusuran yang dikontrol lewat Googlebot. Untuk membatasi apa yang muncul di cuplikan dan fitur AI, Google merujuk ke nosnippet, data-nosnippet, max-snippet, atau noindex.

Apakah kami butuh file llms.txt agar ditemukan AI?

Google menyatakan Anda tidak butuh file baru yang bisa dibaca mesin atau file teks AI untuk muncul di fitur AI-nya. Sebagian situs menerbitkan llms.txt sebagai ringkasan tambahan untuk alat AI, tetapi itu bukan pengganti halaman yang bisa dirayapi.

Berapa lama setelah memperbaiki robots.txt kami akan melihat perubahan?

OpenAI menyatakan sistemnya bisa memakan waktu sekitar 24 jam untuk menyesuaikan diri dengan pembaruan robots.txt untuk pencarian. Dikutip atau tidak tetap bergantung pada konten Anda, jadi ukur selama beberapa minggu berikutnya, bukan keesokan harinya.

Sumber

  1. Overview of OpenAI Crawlers — OpenAI
  2. Perplexity Crawlers — Perplexity
  3. Google's common crawlers (Google-Extended) — Google Search Central
  4. Introduction to robots.txt — Google Search Central
  5. AI features and your website — Google Search Central

Mengapa kami menulis iniKami menulis ini karena hal pertama yang kami periksa di situs pabrik baru adalah apakah crawler AI bisa masuk, dan jawabannya "tidak" jauh lebih sering dari yang diduga orang.

ToucHigh

Lihat di mana Anda tidak terlihat di pencarian AI AS

Jadwalkan panggilan gratis 30 menit dan kami akan membaca visibilitas AI toko Anda secara langsung.

Jadwalkan konsultasi strategi 30 menit →Masuk ke ToucHigh