AI 답변 언급·인용 측정 설계 — 질문 40개 × 답변엔진 7개 = 280셀

연구 질문

한 사이트가 AI 답변엔진에서 얼마나 언급·인용·추천되는지를, 변경 전후로 비교 가능한 방식으로 어떻게 재는가?

가설

가설을 검증하기 전 단계의 설계다. 전제는 'AI 답변은 매번 달라지므로 한 번의 캡처로는 아무것도 말할 수 없고, 같은 조건의 반복 측정 비율로만 변화를 말할 수 있다'는 것이다.

방법

1. 1질문 40개를 유형별로 고정한다: 개념 10 · 업체 탐색 10 · 브랜드 지정 8 · 지역 7 · 데이터 5.
2. 2답변엔진 7개에 같은 문구로 묻는다. 로그아웃 세션, 새 대화에서 묻는다.
3. 3매주 같은 요일·같은 시간대에 다시 묻는다.
4. 4셀마다 언급 여부 · 인용 여부 · 출처 목록 내 위치 · 설명의 사실 정확도 · 함께 언급된 경쟁사를 기록한다.

관측 규칙

• —언급(본문에 이름이 나옴)·인용(출처 목록에 도메인이 들어감)·추천(선택지 질문에서 후보로 나옴)을 합치지 않고 따로 센다.
• —인용률 = 인용된 셀 수 ÷ 280 × 100. 분모는 측정 시작 시점에 고정하고 엔진을 더하거나 빼지 않는다.
• —질문 문구를 바꾸면 그 시점부터 다른 시계열로 취급한다.
• —기준선(0회차) 280셀을 다 재기 전에는 어떤 회차도 공개하지 않는다.

결과

아직 없음 — 기준선을 다 재기 전에는 수치를 공개하지 않습니다.

한계

• —아직 결과가 없다. 이 페이지는 설계와 규칙만 공개한다.
• —표본은 사이트 한 곳이고 통제된 실험이 아니다. 결과가 다른 사이트에서 재현된다는 보장은 없다.
• —측정 대상 사이트(나비랑)는 AEO 서비스를 파는 회사다(이해관계 고지).

원자료

• 측정 방법론 정본 (나비랑) ↗
• 8주 개선 기록 — 진행 상태 (나비랑) ↗

변경 이력

1. 2026-08-11기준선 착수 전, 대상 엔진 목록에서 다른 서비스로 흡수된 이름(SearchGPT)을 제외 — 같은 서비스를 두 번 세지 않기 위해. 첫 셀이 채워지기 전이라 가능했던 정정
2. 2026-10-06hwano-ai.com 연구 형식으로 정리

관련 사례·기록

• 사례나비랑 — AI 답변 인용 개선 실험, 기준선을 재기 전에는 아무 숫자도 내지 않는다
• 기록측정 시작 전에만 고칠 수 있는 것이 있다
• 기록숫자가 계속 오르는 걸 반복 측정 편차로 착각할 뻔했다
• 기록화면에 분명히 있는 글자인데 코드는 없다고 판정했다
• 기록중복을 막으려던 장치가 개선된 결과까지 통째로 버렸다