GEO·AI 검색

귀사 웹사이트가 ChatGPT를 차단하고 있나요? B2B 사이트를 위한 AI 크롤러용 robots.txt

콘텐츠보다 접근 권한을 먼저 확인하세요. 많은 수출 기업 웹사이트가 robots.txt, CDN, 보안 플러그인 때문에 실수로 AI 검색 크롤러를 차단하고 있습니다. 검색 봇과 학습 봇을 구별하는 법과 무엇을 허용해야 하는지 정리했습니다.

ToucHigh 리서치 팀게시일 6분 분량한국어
보라색 눈을 가진 친근한 AI 말풍선이 깨끗한 돌우물에 주황색 양동이를 내립니다. 주변에는 실험용 플라스크, 자, 제품 병, 빈 클립보드가 있고, 근처에는 먼지 쌓인 검은 사슬 더미가 방치되어 있습니다.
“
이 글이 답하는 질문

작년에 IT팀이 웹사이트에서 'AI 봇'을 차단했습니다. ChatGPT에 우리 공장이 한 번도 나오지 않는 게 그 때문일 수 있나요? 무엇을 허용해야 하나요?

짧은 답충분히 그럴 수 있습니다. AI 기업들은 검색용 봇과 모델 학습용 봇을 따로 운영합니다. OpenAI에 따르면 OAI-SearchBot을 거부한 사이트는 ChatGPT 검색 답변에 표시되지 않으며, GPTBot은 학습에만 관여합니다. 검색 크롤러(OAI-SearchBot, PerplexityBot, Googlebot, Bingbot)는 허용하고, GPTBot이나 Google-Extended 같은 학습 봇은 따로 결정하고, robots.txt와 상관없이 CDN이나 방화벽이 이들을 막고 있지 않은지 확인하세요.

핵심 요약

  • OpenAI의 OAI-SearchBot은 ChatGPT 검색에 사이트를 노출하고, GPTBot은 학습용입니다. 설정이 서로 독립적이므로 검색은 허용하고 학습은 거부할 수 있습니다.
  • OpenAI에 따르면 robots.txt 변경이 ChatGPT 검색에 반영되기까지 약 24시간이 걸릴 수 있습니다.
  • PerplexityBot은 Perplexity 결과에 사이트를 노출하고 링크하며, Perplexity에 따르면 파운데이션 모델 학습에는 쓰이지 않습니다.
  • Google-Extended는 귀사 콘텐츠가 Gemini 학습과 그라운딩에 쓰이는지를 제어합니다. Google에 따르면 Google 검색 포함 여부나 순위에는 영향을 주지 않습니다.
  • 방화벽과 CDN은 robots.txt가 허용하더라도 크롤러를 막을 수 있습니다. Perplexity가 IP 범위와 WAF 설정 안내를 공개하는 것도 이 때문입니다.

놀랄 만큼 많은 수출 기업 웹사이트가 따분한 이유로 AI 검색에서 보이지 않습니다. 크롤러가 들어올 수 없기 때문입니다. 지난 2년 사이 누군가 'AI 봇 차단' 규칙을 추가했거나, CDN의 봇 보호 기능을 켰거나, 보안 플러그인을 설치했습니다. 사람에게는 사이트가 여전히 잘 작동하니 아무도 알아채지 못합니다. 그러고는 AI 검색 엔진이 애초에 읽을 수도 없던 콘텐츠를 몇 달씩 다시 씁니다.

이 가이드는 공장과 B2B 웹사이트를 위한 30분짜리 기술 점검입니다. 이것만으로 노출되지는 않지만, 접근이 막혀 있다면 다른 어떤 작업도 소용이 없습니다.

어떤 AI 크롤러가 검색용이고, 어떤 것이 학습용인가요?

핵심은 이렇습니다. AI 기업은 답변에 보여 줄 페이지를 찾는 봇과 모델 학습용 콘텐츠를 수집하는 봇을 분리합니다. 각각에 대해 다른 선택을 할 수 있습니다.

회사사용자 에이전트용도(각 회사 문서 기준)
OpenAIOAI-SearchBotChatGPT 검색 기능에 웹사이트를 노출합니다. 거부한 사이트는 ChatGPT 검색 답변에 표시되지 않지만, 탐색용 링크로는 여전히 나타날 수 있습니다.
OpenAIGPTBotOpenAI 파운데이션 모델 학습에 쓰일 수 있는 콘텐츠를 크롤링합니다. 이를 차단하면 콘텐츠를 학습에 쓰지 말라는 신호가 됩니다.
OpenAIChatGPT-User특정 사용자 행동에 따라 페이지를 방문합니다. OpenAI에 따르면 robots.txt 규칙이 적용되지 않을 수 있으며, 검색에 무엇을 표시할지 결정하는 데는 쓰이지 않습니다.
PerplexityPerplexityBotPerplexity 검색 결과에 웹사이트를 노출하고 링크합니다. AI 파운데이션 모델용 콘텐츠 크롤링에는 쓰이지 않습니다.
PerplexityPerplexity-User사용자가 질문할 때 페이지를 가져옵니다. 사용자가 요청한 것이므로 일반적으로 robots.txt를 무시합니다.
GoogleGoogle-ExtendedGoogle이 크롤링한 콘텐츠를 Gemini 학습과 그라운딩에 쓸 수 있는지 제어하는 robots.txt 토큰입니다. Google 검색 포함 여부나 순위에는 영향을 주지 않습니다.

검색에 들어간 Google 자체 AI 기능은 다르게 작동합니다. Google 가이드에 따르면 AI는 검색에 내장되어 있으므로, AI Overviews와 AI Mode를 포함해 검색을 위해 사이트가 어떻게 크롤링되는지는 Googlebot용 robots.txt 규칙으로 제어합니다. 'AI를 거부'하려고 Googlebot을 차단하면 일반 검색 결과에서도 사라집니다.

공장 웹사이트의 robots.txt에는 무엇을 적어야 할까요?

대부분의 수출 제조업체에게 목표는 발견되는 것이므로 검색 크롤러를 허용하세요. 학습 크롤러 허용 여부는 경영 판단이며, 거부한다고 AI 검색에서 빠지지는 않습니다. 간단한 출발점은 다음과 같습니다.

robots.txt 줄효과
User-agent: OAI-SearchBot / Allow: /ChatGPT 검색 답변 노출 대상
User-agent: PerplexityBot / Allow: /Perplexity 결과 노출 대상
User-agent: Googlebot / Allow: /AI Overviews와 AI Mode를 포함한 Google 검색
User-agent: Bingbot / Allow: /Bing 검색
User-agent: GPTBot / Allow 또는 DisallowOpenAI 모델 학습에 대한 귀사의 선택
User-agent: Google-Extended / Allow 또는 DisallowGemini 학습·그라운딩에 대한 귀사의 선택
Sitemap: https://www.example.com/sitemap.xml크롤러가 모든 페이지를 찾도록 도움

딜러 포털이나 가격표 같은 비공개 영역은 robots.txt만이 아니라 로그인 보호로 크롤러가 접근하지 못하게 하세요. Google의 robots.txt 문서는 robots.txt가 페이지를 Google에서 빼는 수단이 아니라고 명시합니다. 그러려면 noindex나 비밀번호 보호를 쓰세요.

robots.txt가 허용해도 방화벽이 AI 크롤러를 막을 수 있는 이유는?

robots.txt는 요청이고, CDN·방화벽·보안 플러그인은 관문입니다. 많은 봇 보호 기능은 낯선 크롤러가 robots.txt를 읽기도 전에 인증을 요구하거나 차단합니다. Google은 AI 기능의 기본 사항으로 "robots.txt와 모든 CDN 또는 호스팅 인프라에서 크롤링이 허용되도록 하는 것"을 꼽습니다. Perplexity는 한 걸음 더 나아가 사이트 소유자가 자사 봇을 허용할 수 있도록 IP 주소 목록과 단계별 웹 애플리케이션 방화벽 규칙을 공개합니다. OpenAI도 크롤러의 IP 범위를 공개합니다.

호스팅을 관리하는 담당자에게 세 가지를 물어보세요. 봇 보호가 켜져 있는가, 허용 목록이 있는가, 위의 검색 크롤러가 그 목록에 있는가. 그다음 서버 로그에서 표의 사용자 에이전트를 확인하세요. 나타나는데 오류를 받거나, 아예 나타나지 않는다면 문제를 찾은 것입니다.

30분 안에 접근 상태를 어떻게 점검하나요?

  1. yoursite.com/robots.txt를 엽니다. User-agent: * 아래나 AI 사용자 에이전트 아래에 Disallow: /가 있는지 찾으세요.
  2. CDN이나 방화벽을 확인합니다. 봇 보호, 국가 차단, 'AI 스크레이퍼' 토글을 살펴보세요.
  3. 서버 로그를 검색합니다. OAI-SearchBot, PerplexityBot, Googlebot과 이들이 받는 상태 코드를 확인하세요.
  4. 핵심 제품·역량 페이지가 Google Search Console에서 색인되었는지 확인합니다.
  5. 하루 뒤 ChatGPT에서 다시 테스트합니다. OpenAI에 따르면 robots.txt 변경이 검색에 반영되기까지 약 24시간이 걸릴 수 있습니다.
  6. 다음 보안 업데이트가 되돌리지 않도록 정책을 문서로 남깁니다.

크롤러를 허용하면 AI가 귀사를 추천하나요?

아니요. 접근은 자격을 줄 뿐, 선택받게 해 주지는 않습니다. 크롤러가 사이트를 읽을 수 있게 되면, 다음 질문은 페이지가 구체적인 사실로 바이어의 질문에 답하는지, 그리고 회사 정보가 웹 전반에서 일관되는지입니다. 그래도 접근이 먼저입니다. GEO에서 가장 저렴하면서 가장 자주 놓치는 수정입니다.

GEO Autopilot · Social Autopilot · Ads

ToucHigh가 돕는 방법

ToucHigh의 GEO Autopilot은 모든 프로젝트를 이런 점검으로 시작합니다.

  • ChatGPT, Perplexity, Google AI, Gemini 전반에서 귀사 사이트가 보이지 않는 곳에 대한 진단
  • 페이지, 답변, 엔티티 데이터를 포함해 대신 작성·게시하는 수정 사항
  • 이후 AI 인용 점유율 추적으로 관문을 연 효과 확인

30분 전략 상담을 예약하시면 귀사 사이트의 AI 가시성을 실시간으로 함께 살펴보겠습니다.

공장·B2B 공급업체라면: ToucHigh의 AI 검색 공급업체 가시성을 확인하세요. 가시성을 파이프라인으로 바꾸고 싶다면 전략 우선 아웃바운드 서비스 ToucHigh PRO를 확인하세요.

자주 묻는 질문

GPTBot을 차단하면 ChatGPT가 우리 사이트를 보여 주지 않게 되나요?

OpenAI에 따르면 그렇지 않습니다. GPTBot은 콘텐츠를 모델 학습에 쓸 수 있는지를, OAI-SearchBot은 ChatGPT 검색 노출을 관장합니다. 두 설정은 독립적이므로 GPTBot을 차단하면서도 OAI-SearchBot은 허용할 수 있습니다.

Google-Extended를 차단하면 AI Overviews에서 빠지나요?

아니요. Google에 따르면 Google-Extended는 Google 검색 포함 여부에 영향을 주지 않으며, AI Overviews와 AI Mode는 Googlebot으로 제어되는 검색의 일부입니다. 스니펫과 AI 기능에 표시되는 내용을 제한하려면 Google은 nosnippet, data-nosnippet, max-snippet 또는 noindex를 안내합니다.

AI에 발견되려면 llms.txt 파일이 필요한가요?

Google에 따르면 AI 기능에 나타나기 위해 새로운 기계 판독용 파일이나 AI용 텍스트 파일은 필요 없습니다. 일부 사이트는 AI 도구를 위한 추가 요약으로 llms.txt를 게시하지만, 크롤링 가능한 페이지를 대신하지는 못합니다.

robots.txt를 고친 뒤 얼마나 지나야 변화가 보이나요?

OpenAI에 따르면 시스템이 검색용 robots.txt 업데이트를 반영하는 데 약 24시간이 걸릴 수 있습니다. 인용 여부는 여전히 콘텐츠에 달려 있으므로, 다음 날이 아니라 이후 몇 주에 걸쳐 측정하세요.

참고 자료

  1. Overview of OpenAI Crawlers — OpenAI
  2. Perplexity Crawlers — Perplexity
  3. Google's common crawlers (Google-Extended) — Google Search Central
  4. Introduction to robots.txt — Google Search Central
  5. AI features and your website — Google Search Central

이 글을 쓴 이유이 글을 쓴 이유는 새 공장 웹사이트에서 저희가 가장 먼저 확인하는 것이 AI 크롤러가 들어올 수 있는지인데, 그 답이 누구의 예상보다도 자주 '아니요'이기 때문입니다.

ToucHigh

미국 AI 검색에서 어디가 보이지 않는지 확인하세요

30분 무료 상담을 예약하시면 스토어의 AI 가시성을 실시간으로 진단해 드립니다.

30분 전략 상담 예약 →ToucHigh 로그인