เว็บไซต์ของคุณบล็อก ChatGPT อยู่หรือเปล่า? robots.txt สำหรับ AI Crawler บนเว็บไซต์ B2B
ก่อนทำคอนเทนต์ ให้ตรวจการเข้าถึง เว็บไซต์ส่งออกจำนวนมากบล็อกครอว์เลอร์ของ AI Search โดยไม่ตั้งใจผ่าน robots.txt, CDN หรือปลั๊กอินความปลอดภัย นี่คือวิธีแยกบอตค้นหาออกจากบอตเทรนโมเดล และสิ่งที่ควรอนุญาต

ทีมไอทีของเราบล็อก "บอต AI" บนเว็บไซต์เมื่อปีที่แล้ว นั่นอาจเป็นเหตุที่ ChatGPT ไม่เคยแสดงโรงงานของเราไหม และเราควรอนุญาตอะไร?
คำตอบสั้นเป็นไปได้มาก บริษัท AI ใช้บอตแยกกันสำหรับการค้นหาและการเทรนโมเดล OpenAI ระบุว่าเว็บไซต์ที่เลือกไม่รับ OAI-SearchBot จะไม่แสดงในคำตอบการค้นหาของ ChatGPT ขณะที่ GPTBot ควบคุมเฉพาะการเทรน อนุญาตครอว์เลอร์สำหรับการค้นหา (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot) ตัดสินใจแยกต่างหากสำหรับบอตเทรนอย่าง GPTBot และ Google-Extended และตรวจว่า CDN หรือไฟร์วอลล์ไม่ได้บล็อกพวกมันโดยไม่สนใจ robots.txt
ประเด็นสำคัญ
- OAI-SearchBot ของ OpenAI นำเว็บไซต์ไปแสดงในการค้นหาของ ChatGPT ส่วน GPTBot ใช้สำหรับเทรน การตั้งค่าเป็นอิสระต่อกัน คุณจึงอนุญาตการค้นหาและปฏิเสธการเทรนได้
- OpenAI ระบุว่าการเปลี่ยน robots.txt อาจใช้เวลาประมาณ 24 ชั่วโมงจึงจะมีผลกับการค้นหาของ ChatGPT
- PerplexityBot นำเว็บไซต์ไปแสดงและลิงก์ในผลลัพธ์ของ Perplexity และตามที่ Perplexity ระบุ ไม่ได้ใช้เทรนโมเดลพื้นฐาน
- Google-Extended ควบคุมการใช้คอนเทนต์ของคุณสำหรับการเทรนและ grounding ของ Gemini Google ระบุว่าไม่มีผลต่อการรวมอยู่หรืออันดับใน Google Search
- ไฟร์วอลล์และ CDN บล็อกครอว์เลอร์ได้แม้ robots.txt จะอนุญาต Perplexity จึงเผยแพร่ช่วง IP และคำแนะนำการตั้งค่า WAF ด้วยเหตุนี้
เว็บไซต์ส่งออกจำนวนมากอย่างน่าแปลกใจมองไม่เห็นบน AI Search ด้วยเหตุผลน่าเบื่อ: ครอว์เลอร์เข้าไม่ได้ ช่วงสองปีที่ผ่านมามีใครสักคนเพิ่มกฎ "บล็อกบอต AI" เปิดการป้องกันบอตของ CDN หรือติดตั้งปลั๊กอินความปลอดภัย เว็บไซต์ยังใช้งานได้สำหรับคน จึงไม่มีใครสังเกต แล้วทีมก็ใช้เวลาหลายเดือนเขียนคอนเทนต์ใหม่ที่เครื่องมือ AI Search ไม่เคยได้รับอนุญาตให้อ่าน
คู่มือนี้คือการตรวจทางเทคนิค 30 นาทีสำหรับเว็บไซต์โรงงานและ B2B มันไม่ได้ทำให้คุณถูกมองเห็นด้วยตัวเอง แต่ถ้าการเข้าถึงเสีย สิ่งอื่นที่คุณทำจะไม่มีผลเลย
ครอว์เลอร์ AI ตัวไหนใช้สำหรับการค้นหา และตัวไหนใช้สำหรับการเทรน?
แนวคิดหลัก: บริษัท AI แยกบอตที่หาหน้าเว็บไปแสดงในคำตอบ ออกจากบอตที่เก็บคอนเทนต์ไปเทรนโมเดล คุณเลือกต่างกันสำหรับแต่ละตัวได้
| บริษัท | User agent | วัตถุประสงค์ (ตามเอกสารของบริษัท) |
|---|---|---|
| OpenAI | OAI-SearchBot | นำเว็บไซต์ไปแสดงในฟีเจอร์การค้นหาของ ChatGPT เว็บไซต์ที่เลือกไม่รับจะไม่แสดงในคำตอบการค้นหาของ ChatGPT แต่ยังอาจปรากฏเป็นลิงก์นำทางได้ |
| OpenAI | GPTBot | เก็บคอนเทนต์ที่อาจใช้เทรนโมเดลพื้นฐานของ OpenAI การไม่อนุญาตเป็นการส่งสัญญาณว่าไม่ควรใช้คอนเทนต์นั้นในการเทรน |
| OpenAI | ChatGPT-User | เข้าชมหน้าเว็บสำหรับการกระทำบางอย่างของผู้ใช้ OpenAI ระบุว่ากฎ robots.txt อาจไม่มีผล และไม่ได้ใช้ตัดสินว่าอะไรจะปรากฏในการค้นหา |
| Perplexity | PerplexityBot | นำเว็บไซต์ไปแสดงและลิงก์ในผลการค้นหาของ Perplexity ไม่ได้ใช้เก็บคอนเทนต์สำหรับโมเดลพื้นฐาน AI |
| Perplexity | Perplexity-User | ดึงหน้าเว็บเมื่อผู้ใช้ถามคำถาม โดยทั่วไปไม่สนใจ robots.txt เพราะผู้ใช้เป็นผู้ร้องขอ |
| Google-Extended | โทเค็นใน robots.txt ที่ควบคุมว่าคอนเทนต์ที่ Google เก็บไปอาจใช้สำหรับการเทรนและ grounding ของ Gemini ได้หรือไม่ ไม่มีผลต่อการรวมอยู่หรืออันดับใน Google Search |
ฟีเจอร์ AI ของ Google ใน Search ทำงานต่างออกไป แนวทางของ Google ระบุว่า AI ถูกสร้างไว้ใน Search ดังนั้นกฎ robots.txt สำหรับ Googlebot คือตัวควบคุมว่าเว็บไซต์ถูกเก็บข้อมูลสำหรับ Search อย่างไร รวมถึง AI Overviews และ AI Mode การบล็อก Googlebot เพื่อ "เลือกไม่รับ AI" จะทำให้คุณหลุดจากผลการค้นหาปกติด้วย
robots.txt ของเว็บไซต์โรงงานควรเขียนว่าอะไร?
สำหรับผู้ผลิตเพื่อการส่งออกส่วนใหญ่ เป้าหมายคือการถูกค้นพบ ดังนั้นให้อนุญาตครอว์เลอร์สำหรับการค้นหา ส่วนจะอนุญาตครอว์เลอร์สำหรับการเทรนหรือไม่เป็นการตัดสินใจทางธุรกิจ การปฏิเสธไม่ได้ทำให้คุณหลุดจาก AI Search จุดเริ่มต้นแบบง่ายมีหน้าตาแบบนี้:
| บรรทัดใน robots.txt | ผล |
|---|---|
User-agent: OAI-SearchBot / Allow: / | มีสิทธิ์ปรากฏในคำตอบการค้นหาของ ChatGPT |
User-agent: PerplexityBot / Allow: / | มีสิทธิ์ปรากฏในผลลัพธ์ของ Perplexity |
User-agent: Googlebot / Allow: / | Google Search รวมถึง AI Overviews และ AI Mode |
User-agent: Bingbot / Allow: / | การค้นหาบน Bing |
User-agent: GPTBot / Allow หรือ Disallow | ทางเลือกของคุณเรื่องการเทรนโมเดลของ OpenAI |
User-agent: Google-Extended / Allow หรือ Disallow | ทางเลือกของคุณเรื่องการเทรนและ grounding ของ Gemini |
Sitemap: https://www.example.com/sitemap.xml | ช่วยให้ครอว์เลอร์หาเจอทุกหน้า |
ปกป้องพื้นที่ส่วนตัว เช่น พอร์ทัลตัวแทนจำหน่ายหรือรายการราคา ด้วยการล็อกอิน ไม่ใช่แค่ robots.txt เอกสาร robots.txt ของ Google ระบุชัดว่า robots.txt ไม่ใช่กลไกสำหรับกันหน้าไม่ให้อยู่ใน Google ให้ใช้ noindex หรือการป้องกันด้วยรหัสผ่านแทน
ทำไมไฟร์วอลล์จึงบล็อกครอว์เลอร์ AI ได้แม้ robots.txt จะอนุญาต?
robots.txt คือคำขอ ส่วน CDN ไฟร์วอลล์ หรือปลั๊กอินความปลอดภัยคือประตู ฟีเจอร์ป้องกันบอตจำนวนมากท้าทายหรือบล็อกครอว์เลอร์ที่ไม่คุ้นเคยก่อนที่จะได้อ่าน robots.txt ด้วยซ้ำ Google ระบุ "การทำให้แน่ใจว่าอนุญาตการเก็บข้อมูลใน robots.txt และโดย CDN หรือโครงสร้างโฮสติ้งใด ๆ" เป็นหนึ่งในพื้นฐานสำหรับฟีเจอร์ AI Perplexity ไปไกลกว่านั้นด้วยการเผยแพร่รายการที่อยู่ IP และกฎ web application firewall ทีละขั้นตอน เพื่อให้เจ้าของเว็บไซต์อนุญาตบอตของตนได้ OpenAI ก็เผยแพร่ช่วง IP ของครอว์เลอร์เช่นกัน
ถามผู้ดูแลโฮสติ้งของคุณสามคำถาม: เปิดการป้องกันบอตอยู่ไหม มีรายการอนุญาต (allow list) ไหม และครอว์เลอร์สำหรับการค้นหาข้างต้นอยู่ในรายการนั้นไหม จากนั้นตรวจบันทึกเซิร์ฟเวอร์หา user agent ในตาราง หากปรากฏแต่ได้รับข้อผิดพลาด หรือไม่ปรากฏเลย คุณก็เจอปัญหาแล้ว
ตรวจการเข้าถึงใน 30 นาทีอย่างไร?
- เปิด yoursite.com/robots.txt มองหา
Disallow: /ใต้User-agent: *หรือใต้ user agent ของ AI ใด ๆ - ตรวจ CDN หรือไฟร์วอลล์ ว่ามีการป้องกันบอต การบล็อกตามประเทศ หรือสวิตช์ "AI scraper" หรือไม่
- ค้นหาในบันทึกเซิร์ฟเวอร์ หา OAI-SearchBot, PerplexityBot และ Googlebot และรหัสสถานะที่พวกมันได้รับ
- ยืนยันการจัดทำดัชนีใน Google Search Console สำหรับหน้าสินค้าและหน้าความสามารถหลัก
- ทดสอบใหม่ใน ChatGPT หลังหนึ่งวัน OpenAI ระบุว่าการเปลี่ยน robots.txt อาจใช้เวลาประมาณ 24 ชั่วโมงจึงจะสะท้อนในการค้นหา
- เขียนนโยบายไว้เป็นลายลักษณ์อักษร เพื่อไม่ให้การอัปเดตความปลอดภัยครั้งถัดไปย้อนกลับ
การอนุญาตครอว์เลอร์หมายความว่า AI จะแนะนำคุณไหม?
ไม่ การเข้าถึงทำให้คุณมีสิทธิ์ ไม่ได้ทำให้คุณถูกเลือก เมื่อครอว์เลอร์อ่านเว็บไซต์ของคุณได้แล้ว คำถามถัดไปคือหน้าของคุณตอบคำถามของผู้ซื้อด้วยข้อเท็จจริงที่เฉพาะเจาะจงหรือไม่ และข้อมูลบริษัทของคุณสอดคล้องกันทั่วเว็บหรือไม่ แต่การเข้าถึงต้องมาก่อน มันคือการแก้ไขที่ถูกที่สุดใน GEO และถูกมองข้ามบ่อยที่สุด
ToucHigh ช่วยอย่างไร
GEO Autopilot ของ ToucHigh เริ่มทุกงานด้วยการตรวจแบบนี้:
- ตรวจว่าเว็บไซต์ของคุณมองไม่เห็นตรงไหนบน ChatGPT, Perplexity, Google AI และ Gemini
- เขียนและเผยแพร่การแก้ไขให้คุณ ทั้งหน้าเว็บ คำตอบ และข้อมูลเอนทิตี
- ติดตามสัดส่วนการอ้างอิงบน AI หลังจากนั้น เพื่อให้คุณเห็นผลของการเปิดประตู
นัดคุยกลยุทธ์ 30 นาที แล้วเราจะดูการมองเห็นบน AI ของเว็บไซต์คุณแบบสด
โรงงานและซัพพลายเออร์ B2B: ดูว่า ToucHigh ดูแลการมองเห็นซัพพลายเออร์บน AI Searchอย่างไร อยากเปลี่ยนการมองเห็นเป็นไปป์ไลน์? ดู ToucHigh PRO การเข้าถึงลูกค้าแบบกลยุทธ์มาก่อน
คำถามที่พบบ่อย
ถ้าเราบล็อก GPTBot ChatGPT จะหยุดแสดงเว็บไซต์ของเราไหม?
ตามที่ OpenAI ระบุ ไม่ GPTBot ควบคุมว่าคอนเทนต์อาจใช้เทรนโมเดลได้หรือไม่ ส่วน OAI-SearchBot ควบคุมการปรากฏในการค้นหาของ ChatGPT การตั้งค่าทั้งสองเป็นอิสระต่อกัน คุณจึงไม่อนุญาต GPTBot แต่ยังอนุญาต OAI-SearchBot ได้
การบล็อก Google-Extended ทำให้เราหายจาก AI Overviews ไหม?
ไม่ Google ระบุว่า Google-Extended ไม่มีผลต่อการรวมอยู่ใน Google Search และ AI Overviews กับ AI Mode เป็นส่วนหนึ่งของ Search ซึ่งควบคุมผ่าน Googlebot หากต้องการจำกัดสิ่งที่ปรากฏในสนิปเป็ตและฟีเจอร์ AI Google ชี้ไปที่ nosnippet, data-nosnippet, max-snippet หรือ noindex
ต้องมีไฟล์ llms.txt เพื่อให้ AI ค้นเจอไหม?
Google ระบุว่าคุณไม่จำเป็นต้องมีไฟล์ใหม่ที่เครื่องอ่านได้หรือไฟล์ข้อความสำหรับ AI เพื่อปรากฏในฟีเจอร์ AI ของ Google บางเว็บไซต์เผยแพร่ llms.txt เป็นสรุปเพิ่มเติมสำหรับเครื่องมือ AI แต่ไม่ได้ใช้แทนหน้าเว็บที่ครอว์เลอร์เข้าถึงได้
หลังแก้ robots.txt นานแค่ไหนจึงจะเห็นการเปลี่ยนแปลง?
OpenAI ระบุว่าระบบอาจใช้เวลาประมาณ 24 ชั่วโมงในการปรับตามการอัปเดต robots.txt สำหรับการค้นหา การถูกอ้างอิงยังขึ้นอยู่กับคอนเทนต์ของคุณ ดังนั้นให้วัดผลในอีกหลายสัปดาห์ต่อมา ไม่ใช่วันถัดไป
แหล่งอ้างอิง
- Overview of OpenAI Crawlers — OpenAI
- Perplexity Crawlers — Perplexity
- Google's common crawlers (Google-Extended) — Google Search Central
- Introduction to robots.txt — Google Search Central
- AI features and your website — Google Search Central
ทำไมเราเขียนบทความนี้เราเขียนบทความนี้เพราะสิ่งแรกที่เราตรวจในเว็บไซต์โรงงานใหม่คือครอว์เลอร์ AI เข้าได้หรือไม่ และคำตอบคือ "ไม่ได้" บ่อยกว่าที่ใครคาดคิด

