VIVI

Getting started

측정 방식

이 문서는 측정의 단위, 수집부터 지표 산출까지의 과정, 언급과 인용의 판정 기준을 정리합니다. 뒤쪽 절은 그렇게 나온 숫자를 읽는 방법입니다. 화면의 숫자는 매번 똑같이 나오는 계측값이 아니라 표본을 모아 비율을 낸 값입니다.

측정 단위

측정의 기본 단위는 Prompt입니다. 상위 단위의 지표는 그 단위에 속한 Prompt의 응답을 모아 다시 계산합니다.

단위정의
CategoryTopic을 원하는 대로 묶는 분류입니다. 필수가 아니며, Topics와 Metrics 화면에서 범위를 한정하는 필터로 사용합니다. Topics에서 만들고 지정합니다.
TopicPrompt를 묶는 주제이고 검색 키워드 하나에 대응합니다. 측정 범위를 관리하는 기본 단위이며, 측정 여부도 Topic 단위로 결정합니다.
PromptAI 엔진에 전송하는 문장입니다. 화면에서는 질문으로도 표기합니다.

지표 산출 과정

  1. 1Prompt 세트 준비. 온보딩에서 승인한 Prompt가 측정 단위가 됩니다.
  2. 2AI 엔진 질의. Prompt와 AI 엔진의 모든 조합에 대해 실제 답변을 수집합니다.
  3. 3답변 원문 저장. 본문과 함께, 답변이 근거로 제시한 출처 URL을 함께 보관합니다.
  4. 4언급과 인용 판정. 아래 기준으로 자사와 Competitor를 식별합니다.
  5. 5지표 집계. 판정 결과를 날짜, AI 엔진, Topic별로 합산합니다.

수집 시점과 반영 시점

  • 수집은 한국 시간으로 자정 직후에 시작합니다.
  • 주기는 Project마다 정해집니다. 요일을 지정한 Project는 그 요일(주 1~2회)에 모든 질문을 수집합니다. 데일리 수집 Project는 매일 일부 질문을 골라 수집하므로, 지표가 수집 요일을 기다리지 않고 매일 갱신됩니다.
  • 요일은 고정이 아니라 온보딩한 날을 기준으로 정해집니다. Project마다 다릅니다.
  • 데일리 수집 Project의 Mention Rate와 Citation Rate는 최근 7일 응답으로 낸 추정값입니다. 응답이 아직 적은 날은 빈칸 대신 Low sample(표본 부족) 참고값으로 표시되고, 응답이 쌓이면 일반 추정값으로 바뀝니다.

답변의 변동성

생성형 AI는 같은 질문에도 매번 조금씩 다르게 답합니다. 어제 자사 브랜드를 넣어 답했다가 오늘은 빼기도 합니다. 이것은 오류가 아니라 AI의 성질입니다. 그래서 하루치 숫자로 판단하지 않고 기간을 두고 추이로 봅니다.

직접 물어본 결과와 화면 숫자가 다를 때

고객이 ChatGPT에 직접 물어보고 "우리가 나오는데 왜 0%냐"고 하는 경우가 자주 있습니다. 질문 문구, 로그인 계정, 지역, 시점이 모두 다르기 때문에 다른 결과가 나오는 것이 정상입니다. 화면의 숫자는 같은 Prompt 세트를 반복해서 던져 얻은 평균이고, 직접 해본 한 번은 표본 1건입니다.

판단 기준

"Mention 30%면 잘하는 건가요"에 절대적인 정답은 없습니다. 업종과 주제에 따라 기준선이 완전히 다르기 때문입니다. 대신 세 가지 상대 기준으로 판단합니다.

  • 자사 지표의 추이: 지난 기간 대비 상승하고 있는지 봅니다. 가장 신뢰할 수 있는 기준입니다.
  • Share of Voice: 같은 Prompt에서 Competitor 대비 어느 위치인지 봅니다. 절대값이 낮아도 Competitor가 더 낮으면 그 주제에서는 자사가 앞선 것입니다.
  • AI Existence: AI 답변이 실제로 생성되는지 봅니다. 이 값이 낮으면 자사가 언급될 답변 자체가 적은 것이므로, Mention이 낮은 원인은 자사 콘텐츠가 아닙니다.

피해야 할 해석

  • 인과를 단정하지 않습니다. "콘텐츠를 올려서 언급률이 올랐다"고 말하려면 다른 변화가 없었다는 근거가 필요합니다. AI 모델 자체가 갱신되면 자사가 아무것도 안 해도 숫자가 움직입니다.
  • Share of Voice를 시장 점유율로 읽지 않습니다. 등록한 Competitor 목록 안에서의 비중입니다.

도움이 되었나요?