Action

크롤러 허용 (WAF)

온보딩이나 분석에서 사이트를 읽을 수 없다는 안내가 표시되면, 사이트의 WAF나 안티봇이 자동화 요청을 막고 있는 상태입니다. 아래 두 가지를 보안팀에 요청합니다.

대부분의 사이트는 봇을 차단하지 않아 별도 허용이 필요 없습니다. 이 문서는 능동적으로 차단 중인 사이트에만 해당합니다.

1. VIVI 크롤러 허용 (필수)

VIVI의 요청은 두 형태입니다. 접근성 점검은 User-Agent에 아래 토큰을 달고, 콘텐츠 수집(온보딩 토픽 발견·페이지 분석)은 일반 브라우저형 크롤러가 요청 헤더 X-Vivi-Crawler에 같은 토큰을 담아 옵니다. 저희는 고정 IP가 없어 이 두 가지 문자열 기준으로 예외를 걸어야 합니다 — 둘 중 하나라도 일치하면 차단과 챌린지를 건너뛰도록 설정합니다.

토큰: ViviTechAudit
· 접근성 점검 UA: Mozilla/5.0 (compatible; ViviTechAudit/1.0; +https://vivi.bubbleshare.io/bot)
· 콘텐츠 수집 헤더: X-Vivi-Crawler: ViviTechAudit/1.0

Cloudflare: Security, WAF, Custom rules에서 Expression (http.user_agent contains "ViviTechAudit") or (any(http.request.headers["x-vivi-crawler"][*] contains "ViviTechAudit")), Action Skip. Skip 대상에 WAF Managed Rules와 Rate limiting, Bot Fight Mode를 포함해야 합니다. 403뿐 아니라 JS 챌린지도 통과하지 못하기 때문입니다.
AWS WAF: 봇 차단 규칙보다 높은 Priority로 Allow 규칙을 추가합니다. User-Agent 헤더 Contains ViviTechAudit OR X-Vivi-Crawler 헤더 Contains ViviTechAudit이면 Allow. 또는 Bot Control 룰그룹의 scope-down에 NOT 조건으로 넣습니다.
Akamai, Imperva, 국산 WAF(WAPPLES 등): 예외 정책(화이트리스트)에 User-Agent 부분일치와 X-Vivi-Crawler 헤더 존재 조건을 함께 등록합니다.

2. AI 검색 크롤러 확인

인용을 받으려면 AI 엔진의 크롤러도 사이트를 읽을 수 있어야 합니다. GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot이 대상입니다. WAF가 검증된 봇 허용 설정이라면 이미 통과 중일 수 있습니다. robots.txt가 이들을 Disallow: /로 전면 차단하고 있지 않은지도 확인합니다. Google-Extended는 학습 옵트아웃용이라 열 필요가 없습니다.

적용 확인

두 형태 모두 200이 반환되어야 합니다.

# 접근성 점검 (UA 토큰)
curl -A "Mozilla/5.0 (compatible; ViviTechAudit/1.0; +https://vivi.bubbleshare.io/bot)" -I https://your-domain.com/

# 콘텐츠 수집 (헤더 토큰)
curl -H "X-Vivi-Crawler: ViviTechAudit/1.0" -I https://your-domain.com/

확인 후, 멈췄던 화면에서 다시 실행합니다 — 온보딩은 Topics 화면의 try again 버튼, GEO는 Page Optimizer의 분석 재실행.

도움이 되었나요?