Insight

숫자를 해석할 때

이 화면의 숫자는 설문 조사에 가깝습니다. 매번 똑같이 나오는 계측값이 아니라, 표본을 모아 비율을 낸 값입니다. 그래서 읽는 순서가 있습니다.

표본 크기 확인

비율을 보기 전에 Responses를 봅니다. 이 값이 모수입니다. 답변이 10건 모인 항목의 30%와 500건 모인 항목의 30%는 같은 30%가 아닙니다. 표본이 작으면 한두 건 차이로 비율이 크게 흔들립니다.

답변의 변동성

생성형 AI는 같은 질문에도 매번 조금씩 다르게 답합니다. 어제 자사 브랜드를 넣어 답했다가 오늘은 빼기도 합니다. 이것은 오류가 아니라 AI의 성질입니다. 그래서 하루치 숫자로 판단하지 않고 기간을 두고 추이로 봅니다.

판단 기준

"Mention 30%면 잘하는 건가요"에 절대적인 정답은 없습니다. 업종과 주제에 따라 기준선이 완전히 다르기 때문입니다. 대신 세 가지 상대 기준으로 판단합니다.

• 자사 지표의 추이: 지난 기간 대비 상승하고 있는지 봅니다. 가장 신뢰할 수 있는 기준입니다.
• Share of Voice: 같은 Prompt에서 Competitor 대비 어느 위치인지 봅니다. 절대값이 낮아도 Competitor가 더 낮으면 그 주제에서는 자사가 앞선 것입니다.
• AI Existence: AI가 이 주제를 다루고 있는지 봅니다. 이 값이 낮으면 Mention이 낮은 것은 자사 문제가 아니라 주제 문제입니다.

피해야 할 해석

• 인과를 단정하지 않습니다. "콘텐츠를 올려서 언급률이 올랐다"고 말하려면 다른 변화가 없었다는 근거가 필요합니다. AI 모델 자체가 갱신되면 자사가 아무것도 안 해도 숫자가 움직입니다.
• 표본이 적은 구간을 단정하지 않습니다. Responses가 적은 Topic이나 AI 엔진의 비율 변화는 신호가 아니라 잡음일 수 있습니다.
• AI 엔진 사이를 절대 비교하지 않습니다. 출처를 다는 습성이 AI 엔진마다 다릅니다.
• Share of Voice를 시장 점유율로 읽지 않습니다. 등록한 Competitor 목록 안에서의 비중입니다. Competitor를 추가하거나 빼면 값이 바뀝니다.