GEO & tìm kiếm AI

Website của bạn có đang chặn ChatGPT? robots.txt cho trình thu thập AI trên trang B2B

Trước nội dung, hãy kiểm tra quyền truy cập. Nhiều website xuất khẩu vô tình chặn trình thu thập dữ liệu tìm kiếm AI qua robots.txt, CDN hoặc plugin bảo mật. Đây là cách phân biệt bot tìm kiếm với bot huấn luyện và nên cho phép những gì.

Nhóm nghiên cứu ToucHighĐăng ngày 6 phút đọcTiếng Việt
Một bong bóng chat AI thân thiện có đôi mắt tím thả một chiếc xô cam xuống một giếng đá sạch, xung quanh là bình thí nghiệm, thước kẻ, chai sản phẩm và một bảng kẹp giấy trống, trong khi một đống mắt xích sẫm màu phủ bụi nằm bị bỏ quên gần đó.
“
Câu hỏi đằng sau bài viết này

Năm ngoái đội IT của chúng tôi đã chặn "bot AI" trên website. Đó có phải lý do ChatGPT không bao giờ hiển thị nhà máy của chúng tôi, và nên cho phép những gì?

Trả lời ngắnRất có thể. Các công ty AI chạy bot riêng cho tìm kiếm và cho huấn luyện mô hình. OpenAI cho biết các trang chọn không cho OAI-SearchBot truy cập sẽ không được hiển thị trong câu trả lời tìm kiếm của ChatGPT, trong khi GPTBot chỉ chi phối việc huấn luyện. Hãy cho phép các trình thu thập tìm kiếm (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot), quyết định riêng về các bot huấn luyện như GPTBot và Google-Extended, và kiểm tra rằng CDN hoặc tường lửa không chặn chúng bất kể robots.txt.

Điểm chính

  • OAI-SearchBot của OpenAI đưa trang web lên ChatGPT search; GPTBot dùng cho huấn luyện. Hai cài đặt độc lập nhau, nên bạn có thể cho phép tìm kiếm và từ chối huấn luyện.
  • OpenAI cho biết thay đổi robots.txt có thể mất khoảng 24 giờ để tác động đến ChatGPT search.
  • PerplexityBot đưa và gắn link trang web trong kết quả của Perplexity và, theo Perplexity, không được dùng để huấn luyện mô hình nền tảng.
  • Google-Extended kiểm soát việc dùng nội dung của bạn cho huấn luyện và grounding (căn cứ dữ liệu) của Gemini; Google cho biết nó không ảnh hưởng đến việc được đưa vào hay thứ hạng trong Google Search.
  • Tường lửa và CDN có thể chặn trình thu thập ngay cả khi robots.txt cho phép; vì lý do này Perplexity công bố dải IP và hướng dẫn cấu hình WAF.

Một số lượng đáng ngạc nhiên website xuất khẩu vô hình với tìm kiếm AI vì một lý do nhàm chán: trình thu thập không vào được. Vào lúc nào đó trong hai năm qua, ai đó đã thêm quy tắc "chặn bot AI", bật tính năng chống bot của CDN hoặc cài một plugin bảo mật. Trang web vẫn hoạt động bình thường với người dùng, nên không ai để ý. Rồi cả đội mất nhiều tháng viết lại nội dung mà các công cụ tìm kiếm AI chưa bao giờ được phép đọc.

Hướng dẫn này là bài kiểm tra kỹ thuật 30 phút cho website nhà máy và B2B. Tự nó không giúp bạn được nhìn thấy, nhưng nếu quyền truy cập bị hỏng, mọi việc khác bạn làm sẽ không có giá trị.

Trình thu thập AI nào dành cho tìm kiếm, và cái nào dành cho huấn luyện?

Ý chính: các công ty AI tách bot tìm trang để hiển thị trong câu trả lời khỏi bot thu thập nội dung để huấn luyện mô hình. Bạn có thể lựa chọn khác nhau cho từng loại.

Công tyUser agentMục đích (theo tài liệu của công ty)
OpenAIOAI-SearchBotĐưa trang web lên các tính năng tìm kiếm của ChatGPT. Các trang đã chọn không tham gia sẽ không hiển thị trong câu trả lời tìm kiếm của ChatGPT, dù vẫn có thể xuất hiện dưới dạng đường link điều hướng.
OpenAIGPTBotThu thập nội dung có thể được dùng để huấn luyện mô hình nền tảng của OpenAI. Chặn nó là tín hiệu cho biết nội dung không nên được dùng để huấn luyện.
OpenAIChatGPT-UserTruy cập trang cho một số thao tác của người dùng. OpenAI cho biết quy tắc robots.txt có thể không áp dụng và nó không được dùng để quyết định những gì xuất hiện trong tìm kiếm.
PerplexityPerplexityBotĐưa và gắn link trang web trong kết quả tìm kiếm của Perplexity; không dùng để thu thập nội dung cho mô hình nền tảng AI.
PerplexityPerplexity-UserTải trang khi người dùng đặt câu hỏi; thường bỏ qua robots.txt vì lượt tải do người dùng yêu cầu.
GoogleGoogle-ExtendedMột token trong robots.txt kiểm soát việc nội dung Google thu thập có được dùng cho huấn luyện và grounding của Gemini hay không. Nó không ảnh hưởng đến việc được đưa vào hay thứ hạng trong Google Search.

Các tính năng AI của chính Google trong Search hoạt động khác. Hướng dẫn của Google cho biết AI được tích hợp sẵn trong Search, nên quy tắc robots.txt cho Googlebot là cơ chế kiểm soát cách trang được thu thập cho Search, gồm cả AI Overviews và AI Mode. Chặn Googlebot để "không tham gia AI" cũng sẽ loại bạn khỏi kết quả tìm kiếm thông thường.

robots.txt của website nhà máy nên ghi gì?

Với phần lớn nhà sản xuất xuất khẩu, mục tiêu là được tìm thấy, nên hãy cho phép trình thu thập tìm kiếm. Có cho phép trình thu thập huấn luyện hay không là quyết định kinh doanh; từ chối chúng không loại bạn khỏi tìm kiếm AI. Một điểm khởi đầu đơn giản trông như sau:

Dòng robots.txtTác dụng
User-agent: OAI-SearchBot / Allow: /Đủ điều kiện xuất hiện trong câu trả lời ChatGPT search
User-agent: PerplexityBot / Allow: /Đủ điều kiện xuất hiện trong kết quả Perplexity
User-agent: Googlebot / Allow: /Google Search, gồm cả AI Overviews và AI Mode
User-agent: Bingbot / Allow: /Tìm kiếm Bing
User-agent: GPTBot / Allow hoặc DisallowLựa chọn của bạn về việc huấn luyện mô hình OpenAI
User-agent: Google-Extended / Allow hoặc DisallowLựa chọn của bạn về huấn luyện và grounding của Gemini
Sitemap: https://www.example.com/sitemap.xmlGiúp trình thu thập tìm thấy mọi trang

Giữ các khu vực riêng tư, như cổng thông tin đại lý hay bảng giá, tránh xa trình thu thập bằng bảo vệ đăng nhập, không chỉ bằng robots.txt. Tài liệu robots.txt của Google nói rõ robots.txt không phải cơ chế để giữ một trang khỏi Google; hãy dùng noindex hoặc bảo vệ bằng mật khẩu cho việc đó.

Vì sao tường lửa có thể chặn trình thu thập AI ngay cả khi robots.txt cho phép?

robots.txt là một lời đề nghị; CDN, tường lửa hay plugin bảo mật là một cánh cổng. Nhiều tính năng chống bot thách thức hoặc chặn các trình thu thập lạ trước khi chúng kịp đọc robots.txt. Google liệt kê "đảm bảo việc thu thập được cho phép trong robots.txt, và bởi mọi CDN hoặc hạ tầng lưu trữ" trong số những điều cơ bản cho tính năng AI. Perplexity còn đi xa hơn, công bố danh sách địa chỉ IP và quy tắc tường lửa ứng dụng web từng bước để chủ trang web cho phép bot của họ. OpenAI cũng công bố dải IP cho các trình thu thập của mình.

Hãy hỏi người quản lý hosting của bạn ba câu: chống bot có đang bật không, có danh sách cho phép không, và các trình thu thập tìm kiếm ở trên có trong danh sách đó không? Sau đó kiểm tra log máy chủ để tìm các user agent trong bảng. Nếu chúng xuất hiện và nhận lỗi, hoặc không bao giờ xuất hiện, bạn đã tìm ra vấn đề.

Làm sao kiểm tra quyền truy cập trong 30 phút?

  1. Mở yoursite.com/robots.txt. Tìm Disallow: / dưới User-agent: * hoặc dưới bất kỳ user agent AI nào.
  2. Kiểm tra CDN hoặc tường lửa xem có chống bot, chặn theo quốc gia hay nút bật "AI scraper" không.
  3. Tìm trong log máy chủ OAI-SearchBot, PerplexityBot và Googlebot, cùng mã trạng thái chúng nhận được.
  4. Xác nhận lập chỉ mục trong Google Search Console cho các trang sản phẩm và năng lực sản xuất chủ chốt.
  5. Kiểm tra lại trên ChatGPT sau một ngày. OpenAI cho biết thay đổi robots.txt có thể mất khoảng 24 giờ để phản ánh trong tìm kiếm.
  6. Ghi chính sách thành văn bản, để bản cập nhật bảo mật tiếp theo không xóa bỏ nó.

Cho phép trình thu thập có nghĩa là AI sẽ giới thiệu bạn không?

Không. Quyền truy cập giúp bạn đủ điều kiện; nó không khiến bạn được chọn. Khi trình thu thập đã đọc được trang của bạn, câu hỏi tiếp theo là các trang có trả lời câu hỏi của người mua bằng thông tin cụ thể không, và thông tin công ty của bạn có nhất quán trên web không. Nhưng quyền truy cập phải đến trước. Đó là bản sửa rẻ nhất trong GEO và hay bị bỏ sót nhất.

GEO Autopilot · Social Autopilot · Ads

ToucHigh giúp gì

GEO Autopilot của ToucHigh bắt đầu mọi dự án bằng kiểu kiểm tra này:

  • đánh giá nơi trang của bạn vô hình trên ChatGPT, Perplexity, Google AI và Gemini;
  • các bản sửa được viết và triển khai thay bạn, gồm trang, câu trả lời và dữ liệu thực thể;
  • tỷ lệ trích dẫn AI được theo dõi sau đó, để bạn thấy tác động của việc mở cổng.

Đặt lịch tư vấn chiến lược 30 phút và chúng tôi sẽ xem trực tiếp khả năng hiển thị AI của trang web bạn.

Nhà máy và nhà cung cấp B2B: xem ToucHigh xử lý khả năng hiển thị nhà cung cấp trên tìm kiếm AI thế nào. Muốn biến khả năng hiển thị thành phễu bán hàng? Tìm hiểu ToucHigh PRO, dịch vụ tiếp cận khách hàng với chiến lược đi trước.

Câu hỏi thường gặp

Nếu chặn GPTBot, ChatGPT có ngừng hiển thị trang của chúng tôi không?

Theo OpenAI thì không. GPTBot chi phối việc nội dung có được dùng để huấn luyện mô hình hay không; OAI-SearchBot chi phối việc xuất hiện trong ChatGPT search. Hai cài đặt độc lập nhau, nên bạn có thể chặn GPTBot mà vẫn cho phép OAI-SearchBot.

Chặn Google-Extended có loại chúng tôi khỏi AI Overviews không?

Không. Google cho biết Google-Extended không ảnh hưởng đến việc được đưa vào Google Search, và AI Overviews cùng AI Mode là một phần của Search, được kiểm soát qua Googlebot. Để giới hạn những gì xuất hiện trong đoạn trích và tính năng AI, Google chỉ đến nosnippet, data-nosnippet, max-snippet hoặc noindex.

Có cần tệp llms.txt để được AI tìm thấy không?

Google cho biết bạn không cần tệp mới dành cho máy đọc hay tệp văn bản AI để xuất hiện trong tính năng AI của họ. Một số trang công bố llms.txt như bản tóm tắt bổ sung cho công cụ AI, nhưng nó không thay thế được các trang có thể thu thập.

Sau khi sửa robots.txt bao lâu thì thấy thay đổi?

OpenAI cho biết hệ thống của họ có thể mất khoảng 24 giờ để điều chỉnh theo bản cập nhật robots.txt cho tìm kiếm. Việc được trích dẫn vẫn phụ thuộc vào nội dung của bạn, nên hãy đo lường trong vài tuần sau đó chứ không phải ngay ngày hôm sau.

Nguồn tham khảo

  1. Overview of OpenAI Crawlers — OpenAI
  2. Perplexity Crawlers — Perplexity
  3. Google's common crawlers (Google-Extended) — Google Search Central
  4. Introduction to robots.txt — Google Search Central
  5. AI features and your website — Google Search Central

Vì sao chúng tôi viết bài nàyChúng tôi viết bài này vì điều đầu tiên chúng tôi kiểm tra trên website của một nhà máy mới là trình thu thập AI có vào được không, và câu trả lời là "không" thường xuyên hơn mọi người nghĩ.

ToucHigh

Xem bạn đang vô hình ở đâu trên tìm kiếm AI tại Mỹ

Đặt lịch cuộc gọi miễn phí 30 phút và chúng tôi sẽ đánh giá trực tiếp khả năng hiển thị AI của cửa hàng bạn.

Đặt lịch tư vấn chiến lược 30 phút →Đăng nhập ToucHigh