AI 언급률·인용률은 어떻게 계산하나 — 분모 정하기, 몇 번 물어야 믿을 만한가, 오차 범위 읽는 법

‘30%’라는 숫자 두 개

AI 노출 측정 보고서를 두 업체에서 받았다고 해 봅시다. 둘 다 ‘ChatGPT 언급률 30%’라고 적혀 있습니다. 같은 성과처럼 보이지만, 한 곳은 질문을 10번 물어 3번 나온 것이고 다른 곳은 100번 물어 30번 나온 것이라면 두 숫자가 말해 주는 것은 크게 다릅니다. 앞의 30%는 실제로 10%대일 수도, 60%일 수도 있다는 정도만 알려 줍니다.

이 글은 그 차이를 계산하는 법을 다룹니다. 언급률·인용률을 어떻게 정의하고, 분모를 언제 정하고, 몇 번 물어야 하며, 오차 범위를 어떻게 계산하고 읽는지입니다. 직접 질문을 만들어 재는 순서는 AI 답변에 우리 가게가 나오는지 직접 확인하는 법에, 업체의 성과 주장을 따져 보는 질문 목록과 AI 답변이 왜 흔들리는지에 대한 연구는 AI 상위노출 결과를 읽는 법에 정리했습니다. 여기서는 그 사이의 산수와 통계만 봅니다.

이 글의 숫자 예는 모두 설명을 위해 만든 가상의 예시입니다. 제가 직접 잰 비율은 아직 공개한 것이 없습니다. 그 이유는 끝에 적었습니다.

세 가지 지표 — 정의부터 고정한다

이 사이트는 세 지표를 이렇게 정의합니다(프로필의 ‘AI 언급률·인용률 — 이렇게 잽니다’에도 같은 정의가 있습니다).

세 지표를 따로 세는 이유는 숫자가 실제로 크게 갈리기 때문입니다. SparkToro의 Rand Fishkin이 Gumshoe.ai의 Patrick O’Donnell과 함께 한 조사(2026년 1월 28일 게시)에는 이런 예가 있습니다.

“In ChatGPT’s results, City of Hope hospital in Los Angeles showed up in 69/71 answers: a 97% visibility rate.”

ChatGPT 답변 71개 중 69개에 이 병원이 나왔지만, 같은 글은 “it was only the top mention in 25 responses”라고, 맨 처음 언급된 것은 25번뿐이었다고 적었습니다. 위 정의로 옮기면 언급률은 69 ÷ 71 ≈ 97.2%, 첫 항목 비율은 25 ÷ 71 ≈ 35.2%입니다. 같은 답변 71개에서 나온 숫자인데 어느 지표를 고르느냐에 따라 97%와 35%가 됩니다. 보고서에 ‘노출률’이라는 말만 있다면 셋 중 무엇인지부터 물어야 하는 이유입니다.

추천 순위를 ‘평균 몇 위’로 내지 않고 첫 항목 비율로 세는 것도 같은 맥락입니다. 같은 조사는 같은 질문을 반복했을 때 브랜드 목록이 같은 순서로 다시 나오는 것은 “more like 1 in 1,000 runs”, 대략 천 번에 한 번꼴이라고 보고했습니다. 매번 바뀌는 순서의 평균을 ‘순위’라고 부르기는 어렵습니다.

분모는 묻기 전에 정한다

비율의 분모는 ‘전체 답변 수’이고, 이 사이트에서는 질문 수 × 엔진 수 × 반복 횟수입니다. 이 분모는 첫 질문을 던지기 전에 정해 두어야 합니다.

결과를 본 뒤에 분모를 정하면 무슨 일이 생기는지 예로 보겠습니다(가상의 예시). 질문 20개를 한 번씩 물어 6개에서 이름이 나왔습니다. 언급률은 6 ÷ 20 = 30%입니다. 그런데 보고서를 쓰면서 ‘우리 업종과 거리가 먼 질문’이라며 이름이 안 나온 질문 8개를 빼면 6 ÷ 12 = 50%가 됩니다. 산수는 맞지만, 이 50%는 비율이 아니라 잘 나온 질문을 골라 낸 결과입니다. 질문을 빼는 이유가 그럴듯해도, 결과를 본 뒤에 뺐다면 숫자는 이렇게 부풀 수 있습니다.

엔진도 마찬가지입니다. 측정 도중에 엔진 하나를 더하거나 빼면 분모가 달라져서, 비율이 오른 것이 작업 효과인지 분모가 바뀐 효과인지 가릴 수 없습니다. 이 사이트에 공개한 측정 설계에서 실제로 겪은 일입니다. 답변엔진 목록에 다른 서비스로 흡수된 이름이 하나 들어 있어 뺐는데, 첫 셀을 채우기 전이라 가능한 정정이었습니다. 그 뒤로 ‘분모는 첫 데이터가 들어가기 전까지만 고친다, 다시 재고 싶은 것이 생기면 별도의 새 측정으로 시작한다’는 규칙을 지킵니다(기록). 질문 문구를 바꾸면 그 시점부터 다른 시계열로 봅니다.

캡처 한 장은 비율이 아니다

캡처 한 장은 ‘한 번 물어 한 번 나왔다’, 즉 1 ÷ 1입니다. 이것을 100%라고 부를 수는 있어도 비율로서는 거의 아무것도 말해 주지 않습니다. 같은 질문에 답이 바뀐다는 것은 연구와 조사에서 거듭 보고됐습니다. LLM을 결정적으로 설정하고 같은 입력을 10번 돌린 Atil 외(arXiv 2408.04667, 프리프린트)는 “We see accuracy variations up to 15% across naturally occurring runs”라고, 실행 사이에 정확도가 최대 15% 달라졌다고 보고했습니다(검색 답변이 아니라 일반 과제를 잰 연구입니다). 위 SparkToro 조사에서는 ChatGPT나 구글 AI에 100번 물었을 때 두 답변의 브랜드 목록이 같을 확률이 “<1 in 100”, 100분의 1보다 낮았습니다.

그러니 캡처가 증명하는 것은 ‘그런 답이 나온 적이 있다’까지입니다. 몇 번 중 몇 번 나오는지를 말하려면 같은 질문을 여러 번 물어야 하고, 그 횟수가 다음 절의 주제입니다.

몇 번 물어야 하나 — 오차 범위로 정한다

‘몇 번이면 충분한가’에는 정해진 답이 없고, 얼마나 좁은 오차 범위가 필요한가에 따라 정해집니다. 비율의 95% 오차 범위 폭은 대략 표본 수의 제곱근에 반비례해서, 오차를 절반으로 줄이려면 대략 네 배를 물어야 합니다.

정규 근사로 어림한 필요 횟수는 n = z² × p(1−p) ÷ E²입니다(z = 1.96, E는 원하는 오차 폭). 비율을 모를 때 가장 불리한 p = 0.5를 넣으면 이렇습니다.

이 횟수는 엔진마다 필요합니다. ChatGPT와 Gemini를 합쳐 100번 물었다면, 엔진별로 보면 50번씩입니다.

SparkToro 조사도 같은 방향을 권합니다. 글쓴이는 같은 질문을 “usually at least 60-100X, then average these out”, 보통 60~100번 이상 묻고 평균을 내라고 적었고, 처음에는 AI 노출 추적이 의미 없다고 생각했지만 “visibility % across dozens to hundreds of prompts run multiple times is a reasonable metric”, 즉 수십~수백 개 질문을 여러 번 돌린 노출 비율은 쓸 만한 지표라고 생각이 바뀌었다고 밝혔습니다. 다만 같은 글에서 “How many times do you need to run a prompt to have statistically sound answers about a brand’s relative visibility?”를 아직 열린 질문으로 남겼고, 글쓴이 스스로 “I/we aren’t professional researchers”라고 밝혔습니다. 동료 심사를 거친 논문이 아니라 조사 보고라는 점을 감안해서 읽어야 합니다. 조사는 2025년 11~12월에 했다고 적혀 있어, 그 뒤의 모델에서는 결과가 다를 수 있습니다.

직접 확인하는 법에서 권한 ‘엔진마다 최소 3번’은 나오는지 안 나오는지를 가늠하는 출발점이지 비율을 내는 횟수는 아닙니다. 3번 중 2번 나왔다면 95% 윌슨 구간은 약 20.8~93.9%입니다.

95% 오차 범위 계산하기 — 윌슨 구간

비율의 오차 범위를 계산하는 가장 흔한 공식은 ‘p̂ ± 1.96 × √(p̂(1−p̂)/n)’(왈드 구간)입니다. 그런데 이 공식은 표본이 작거나 비율이 0%·100%에 가까우면 잘 맞지 않습니다. Brown·Cai·DasGupta(2001, Statistical Science)는 이 구간의 포함 확률이 “erratic”, 들쭉날쭉하다는 지적을 다시 검토하면서 그 문제가 생각보다 훨씬 끈질기다고 보였고, 작은 표본에는 윌슨 구간(또는 제프리스 구간)을 권했습니다. 미국 국립표준기술연구소(NIST)의 통계 핸드북도 비율의 신뢰구간으로 윌슨 방법을 소개하면서, 이 방법의 장점으로 “the lower limit cannot be negative”, 아래 끝이 음수가 되지 않는다는 점을 들었습니다. 윌슨 구간은 1927년 Edwin B. Wilson의 논문에서 나온 방법입니다.

이 사이트는 수식 표기를 쓰지 않으므로 공식을 글자로 적습니다.

x  = 나온 답변 수,  n = 전체 답변 수(분모)
p̂  = x ÷ n
z  = 1.96          (95% 기준)

중심 = (p̂ + z²/(2n)) ÷ (1 + z²/n)
폭   = z × √( p̂(1−p̂)/n + z²/(4n²) ) ÷ (1 + z²/n)

95% 윌슨 구간 = [중심 − 폭, 중심 + 폭]

계산 예시 — 10번 중 3번

가상의 예시로, 같은 질문을 한 엔진에 10번 물어 3번 이름이 나왔다고 합시다. p̂ = 3 ÷ 10 = 0.3입니다.

1. z² = 1.96 × 1.96 = 3.8416
2. 분모 쪽: 1 + z²/n = 1 + 0.38416 = 1.38416
3. 중심의 분자: p̂ + z²/(2n) = 0.3 + 0.19208 = 0.49208
4. 제곱근 안: p̂(1−p̂)/n + z²/(4n²) = 0.021 + 0.009604 = 0.030604, 제곱근은 약 0.17494
5. z × 0.17494 ≈ 0.34288
6. 위 끝 = (0.49208 + 0.34288) ÷ 1.38416 ≈ 0.6032, 아래 끝 = (0.49208 − 0.34288) ÷ 1.38416 ≈ 0.1078

95% 윌슨 구간은 **약 10.8~60.3%**입니다. 같은 자료로 왈드 공식을 쓰면 약 1.6~58.4%가 나옵니다. 10번 중 1번이라면 왈드 공식은 아래 끝이 약 −8.6%, 즉 있을 수 없는 음수가 됩니다. 작은 표본에 윌슨 구간을 쓰는 이유입니다.

같은 방법으로 100번 중 30번을 계산하면 **약 21.9~39.6%**입니다. 처음의 두 업체로 돌아가면, 같은 ‘30%’라도 한쪽은 폭이 약 50%포인트, 다른 쪽은 약 18%포인트입니다.

샘플 크기별 오차 범위 (비율 30%일 때)

관측한 비율이 똑같이 30%일 때, 몇 번 물었느냐에 따라 95% 윌슨 구간이 어떻게 좁아지는지 계산한 표입니다(가상의 예시).

0번이나 전부 나온 경우도 구간이 있습니다. 10번 물어 한 번도 안 나왔다면(0 ÷ 10) 95% 윌슨 구간은 0~27.7%입니다. ‘10번 다 안 나왔으니 0%’라고 말하기보다는 ‘이 조건에서 실제 비율이 0%라고 단정할 수는 없고, 95% 기준으로 약 28%까지는 열려 있다’ 정도로 읽어야 합니다. 10번 다 나왔다면 72.3~100%입니다.

이 구간이 말해 주지 않는 것

윌슨 구간은 각 답변을 같은 확률을 가진 독립 시행으로 볼 때의 값입니다. AI 답변 측정은 이 가정에 딱 맞지 않습니다. 질문마다 이름이 나올 확률이 다르고, 같은 질문을 반복한 답은 서로 닮기 쉽습니다. 그래서 실제 불확실성은 표의 구간보다 클 수 있다고 보는 편이 안전합니다. 여러 질문·엔진에 나눠 묻는 것이 한 질문을 계속 반복하는 것보다 나을 수 있는 이유도 여기에 있습니다. 관련 연구는 결과를 읽는 법에 정리했습니다.

그리고 구간은 잰 질문 목록과 조건에 대한 것입니다. 질문 40개로 낸 30%는 그 40개 질문을 그 조건에서 물었을 때의 비율이지, 손님이 실제로 묻는 모든 질문에서의 비율이 아닙니다. 질문 목록이 바뀌면 숫자의 뜻도 바뀝니다.

전후 비교 — 구간이 겹친다는 것의 뜻

작업 전후를 비교할 때 두 구간이 겹치는지를 보는 경우가 많습니다. 여기에는 두 가지 함정이 있습니다(아래 숫자는 모두 가상의 예시).

겹친다고 해서 변화가 없다는 증명은 아니다. 100번 중 30번(21.9~39.6%)에서 100번 중 45번(35.6~54.8%)이 됐다면 두 구간은 35.6~39.6% 범위에서 겹칩니다. 그런데 두 비율의 차이를 직접 검정하면 결과가 다릅니다. NIST 핸드북이 소개하는 두 비율 z검정으로 계산하면 z ≈ 2.19, 양측 p값 ≈ 0.028이고, 작은 표본용으로 같은 핸드북이 소개하는 피셔 정확검정으로도 p ≈ 0.041입니다. 구간 두 개를 눈으로 대 보는 것보다 차이 자체를 검정하는 쪽이 맞는 방법입니다.

표본이 작으면 구간이 크게 겹쳐 변화를 보여 줄 수 없다. 10번 중 3번(10.8~60.3%)에서 10번 중 6번(31.3~83.2%)으로 비율이 두 배가 됐어도, 두 구간은 대부분 겹칩니다. 두 비율 z검정은 p ≈ 0.18, 피셔 정확검정은 p ≈ 0.37입니다. 이 표본으로는 ‘좋아졌다’도 ‘그대로다’도 말할 수 없습니다. 차이가 없다는 뜻이 아니라, 차이를 가려낼 만큼 묻지 않았다는 뜻입니다.

전후 비교에는 산수 말고도 조건이 필요합니다. 작업 전 기준선을 같은 질문·같은 엔진·같은 조건으로 재 두지 않았다면, 구간을 아무리 정확히 계산해도 비교할 대상이 없습니다. 기간 사이에 모델이 바뀌었을 수도 있어서, 숫자가 달라져도 그것이 작업 때문인지는 따로 따져야 합니다.

엔진별로 따로 계산한다

ChatGPT, 구글 AI 개요, Perplexity, Copilot은 출처를 모으는 길이 서로 다릅니다(엔진마다 다른 이유). 엔진을 합친 비율 하나는 어느 엔진에서 나오고 어느 엔진에서 안 나오는지를 가립니다. 예를 들어(가상의 예시) 한 엔진에서 50번 중 30번, 다른 엔진에서 50번 중 0번이면 합계는 100번 중 30번, 30%입니다. 하지만 실제로는 ‘한 엔진에서는 60%, 다른 엔진에서는 0%’라는 전혀 다른 그림입니다.

엔진별로 나누면 엔진 하나의 분모가 작아진다는 점도 함께 봐야 합니다. 질문 40개를 엔진 7개에 한 번씩 물으면 전체 분모는 280이지만 엔진 하나의 분모는 40입니다. 위 표에서 보듯 40번 중 12번(30%)의 95% 윌슨 구간은 약 18.1~45.4%입니다. 엔진별 숫자를 좁히려면 회차를 쌓아야 합니다.

조건을 고정하지 않으면 분모가 같아도 다른 측정이다

분모 숫자가 같아도 묻는 조건이 바뀌면 같은 측정이 아닙니다. 비율을 계산하기 전에 아래를 고정합니다.

• 질문 문구: 글자 하나까지 같게. 문구를 바꾸면 새 시계열로 봅니다.
• 로그인 여부: 로그아웃 상태나 내 정보가 없는 계정, 새 대화에서. 계정 정보와 앞 대화가 답에 섞일 수 있습니다.
• 시간: 같은 요일·같은 시간대에. 측정 기간이 길면 그 사이 모델이 바뀔 수 있으니 기간을 함께 적습니다.
• 엔진 목록: 측정 도중 더하거나 빼지 않습니다.
• 세는 규칙: 무엇을 언급·인용·첫 항목으로 셀지 미리 적어 둡니다. 판정 기준이 회차마다 달라지면 분자가 흔들립니다.

보고서를 읽는 체크리스트

받아 든 비율을 아래에 대 보세요. 비어 있는 줄이 있으면 그 숫자는 아직 검산할 수 없습니다.

보고서에 오차 범위가 없어도 ‘몇 번 중 몇 번’만 있으면 위 공식으로 직접 계산할 수 있습니다.

이 사이트는 어떻게 하고 있나

같은 기준을 제 측정에도 댑니다. 이 사이트에 공개한 280셀 측정 설계는 사이트 한 곳을 대상으로 질문 40개(개념 10·업체 탐색 10·브랜드 지정 8·지역 7·데이터 5) × 답변엔진 7개를 한 회차 분모 280으로 두고, 매주 같은 요일·시간대에 로그아웃 세션·새 대화에서 같은 문구로 묻도록 설계했습니다. 언급·인용·추천은 합치지 않고 따로 세며, 분모는 첫 셀을 채우기 전에 고정했습니다. 다만 이 설계는 위 표와 세는 법이 조금 다릅니다. 인용은 출처 목록에 도메인이 들어갔는지로, 추천은 선택지 질문에서 후보로 나왔는지로 기록하고, 첫 항목 비율은 따로 정해 두지 않았습니다.

아직 공개한 비율은 없습니다. 기준선(0회차) 280셀을 다 재기 전에는 어떤 회차도 공개하지 않는다는 규칙을 세워 두었고, 지금까지 공개한 기록은 날짜가 남은 답변 캡처입니다. 같은 조건으로 횟수를 세어 낸 비율은 측정을 마치는 대로, 이 글에서 설명한 분모·엔진별 숫자·오차 범위와 함께 공개합니다. 이 설계도 한계가 있습니다. 엔진 하나의 회차당 분모는 40이라 위 표의 폭(30%일 때 약 18.1~45.4%, 폭 약 27%포인트)을 그대로 안고 있고, 측정 대상은 사이트 한 곳이며 통제된 실험이 아닙니다.

정리

• 언급률·인용률·추천 순위(첫 항목 비율)는 따로 셉니다. 같은 답변에서도 97%와 35%처럼 갈립니다.
• 분모(질문 수 × 엔진 수 × 반복 횟수)는 묻기 전에 정합니다. 결과를 본 뒤 질문을 빼면 비율이 아니라 골라 낸 숫자입니다.
• 캡처 한 장은 1 ÷ 1이고, ‘나온 적이 있다’까지만 말해 줍니다.
• 몇 번 물을지는 필요한 오차 폭으로 정합니다. 오차를 절반으로 줄이려면 대략 네 배를 물어야 하고, 엔진마다 따로 필요합니다.
• 작은 표본의 오차 범위는 윌슨 구간으로 계산합니다. 10번 중 3번은 약 10.8~60.3%, 100번 중 30번은 약 21.9~39.6%입니다.
• 전후 구간이 겹친다고 변화가 없다는 증명은 아니고, 작은 표본은 변화를 보여 주지 못합니다.
• 비율은 잰 질문과 조건에 대해서만 말해 줍니다.

이 글을 쓴 사람

이 글은 AI 상위노출 일을 하는 유환호가 썼습니다. 이 주제로 일을 하므로 이해관계가 있습니다. 그래서 다른 업체의 보고서를 평가하거나 이름을 들지 않았고, 제 측정에도 같은 잣대를 대어 아직 공개할 비율이 없다는 점을 적었습니다. 글의 계산 예시는 모두 가상의 숫자이고 Python으로 다시 계산해 확인했으며, 인용한 SparkToro 조사·NIST 핸드북·arXiv 논문은 2026년 10월 23일에 원문을 열어 대조했습니다. 측정 규칙은 측정 방법론에 있습니다.