Appendix
크롤러 허용 (WAF)
온보딩이나 분석에서 사이트를 읽을 수 없다는 안내가 표시되면, 사이트의 WAF나 안티봇이 자동화 요청을 막고 있는 상태입니다. 아래 두 가지를 보안팀에 요청합니다.
1. VIVI 크롤러 허용 (필수)
콘텐츠 수집(온보딩 토픽 발견, 페이지 분석)은 일반 브라우저형 크롤러가 요청 헤더 X-Vivi-Crawler에 아래 토큰을 담아 옵니다. 사이트를 읽지 못한다는 안내는 이 요청이 막혔다는 뜻이므로, 이 헤더가 필수 조건입니다. robots.txt를 읽을 때만 User-Agent에 같은 토큰을 답니다. 고정 IP가 없어 이 두 문자열을 기준으로 예외를 등록해야 합니다. 둘 중 하나라도 일치하면 차단과 챌린지를 건너뛰도록 설정합니다.
토큰: ViviTechAudit - 콘텐츠 수집 헤더 (필수): X-Vivi-Crawler: ViviTechAudit/1.0 - robots.txt 요청 UA: Mozilla/5.0 (compatible; ViviTechAudit/1.0; +https://vivi.bubbleshare.io/bot)
- Cloudflare: Security, WAF, Custom rules에서 Expression
(http.user_agent contains "ViviTechAudit") or (any(http.request.headers["x-vivi-crawler"][*] contains "ViviTechAudit")), Action Skip. Skip 대상에 WAF Managed Rules와 Rate limiting, Bot Fight Mode를 포함해야 합니다. 403뿐 아니라 JS 챌린지도 통과하지 못하기 때문입니다. - AWS WAF: 봇 차단 규칙보다 높은 Priority로 Allow 규칙을 추가합니다. User-Agent 헤더 Contains
ViviTechAuditORX-Vivi-Crawler헤더 ContainsViviTechAudit이면 Allow. 또는 Bot Control 룰그룹의 scope-down에 NOT 조건으로 넣습니다. - Akamai, Imperva, 국산 WAF(WAPPLES 등): 예외 정책(화이트리스트)에 User-Agent 부분일치와
X-Vivi-Crawler헤더 존재 조건을 함께 등록합니다.
2. AI 검색 크롤러 확인
인용을 받으려면 AI 검색 크롤러가 사이트를 읽을 수 있어야 합니다. OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Googlebot, Yeti(NaverBot)가 대상입니다. WAF가 검증된 봇 허용 설정이라면 이미 통과 중일 수 있습니다. robots.txt가 이들을 Disallow: /로 전면 차단하고 있지 않은지도 확인합니다. GPTBot·ClaudeBot·Google-Extended 같은 학습봇은 측정하지 않습니다. 학습 거부는 AI 검색 인용을 막지 않으므로 사이트가 선택하면 됩니다.
적용 확인
두 요청 모두 200이 반환되어야 합니다.
# 콘텐츠 수집 (헤더 토큰, 필수) curl -H "X-Vivi-Crawler: ViviTechAudit/1.0" -I https://your-domain.com/ # robots.txt (UA 토큰) curl -A "Mozilla/5.0 (compatible; ViviTechAudit/1.0; +https://vivi.bubbleshare.io/bot)" -I https://your-domain.com/robots.txt
확인 후, 멈췄던 화면에서 다시 실행합니다. 온보딩은 Topics 화면의 I've allowed it — try again, Page Optimizer는 Run GEO Analysis입니다.
도움이 되었나요?