AI 검색의 출처 표시는 얼마나 정확한가 — 연구 3건의 수치와 브랜드가 확인할 것

출처가 붙어 있다고 맞는 말은 아니다

ChatGPT·Perplexity·Gemini 같은 AI 검색은 답변 옆에 출처 링크를 붙입니다. 링크가 있으면 읽는 사람은 “근거가 있는 답”이라고 받아들이기 쉽습니다. 그런데 출처가 붙어 있다는 것과, 그 출처에 같은 말이 적혀 있다는 것은 다른 문제입니다.

이 차이를 직접 잰 연구가 있습니다. 아래에서는 성격이 다른 세 가지 — 학회 논문 1편, 언론 연구기관 조사 1건, 공영방송 22곳의 공동 연구 1건 — 을 조건과 함께 정리하고, 브랜드나 가게를 운영하는 사람이 무엇을 확인하고 어떻게 고치면 되는지로 옮겼습니다. AI 답변에 나오는 것 자체를 다룬 글은 AI 상위노출 정리와 GEO 논문 12편 정리에 있습니다.

연구 1 — 답변 문장의 절반만 출처로 뒷받침됐다

Nelson F. Liu, Tianyi Zhang, Percy Liang이 쓴 「Evaluating Verifiability in Generative Search Engines」는 Findings of EMNLP 2023에 실린 논문입니다(arXiv 2304.09848, 2023년 4월 처음 공개, 10월 개정). 이 글에서 다루는 세 자료 중 학회 심사를 거친 것은 이 논문입니다.

연구진은 “검증 가능성”을 두 가지로 나눴습니다. 답변의 모든 문장이 출처로 뒷받침되는가(인용 재현율), 그리고 붙어 있는 인용이 실제로 그 문장을 뒷받침하는가(인용 정밀도)입니다. 그리고 Bing Chat, NeevaAI, Perplexity.ai, YouChat 네 개를 구글 검색 질의(NaturalQuestions), 레딧의 열린 질문(ELI5) 등 여러 출처에서 모은 질의 1,450개씩으로 사람이 직접 검사했습니다.

“We find that responses from existing generative search engines are fluent and appear informative, but frequently contain unsupported statements and inaccurate citations: on average, a mere 51.5% of generated sentences are fully supported by citations and only 74.5% of citations support their associated sentence.”

답변은 매끄럽고 유익해 보이지만, 평균적으로 생성된 문장의 51.5%만 출처로 완전히 뒷받침됐고, 인용의 74.5%만 연결된 문장을 실제로 뒷받침했다는 뜻입니다. 거꾸로 말하면 인용 네 개 중 하나 정도는 붙어 있는 문장을 뒷받침하지 못했습니다.

연구진은 이 수치를 이렇게 평가했습니다.

“We believe that these results are concerningly low for systems that may serve as a primary tool for information-seeking users, especially given their facade of trustworthiness.”

정보를 찾는 사람의 주요 도구가 될 수 있는 시스템으로서는 걱정스러울 만큼 낮은 수치이고, 겉으로 믿을 만해 보인다는 점에서 더 그렇다는 평가입니다.

한계: 2023년에 검사한 엔진들이고, 질의는 NaturalQuestions·레딧 같은 영어권 데이터에서 가져왔습니다. 지금 서비스되는 ChatGPT 검색이나 구글 AI 모드는 검사 대상이 아니었고, 그 사이 엔진들이 바뀌었을 수 있습니다. 이 수치를 오늘의 정확도로 옮겨 쓰면 안 됩니다. 다만 “출처 표시”와 “출처가 실제로 말하는 것”을 따로 재야 한다는 측정 방식은 지금도 그대로 쓸 수 있습니다.

연구 2 — 기사 출처를 맞히는 과제에서 60% 넘게 틀렸다

컬럼비아대 저널리즘스쿨의 토우 디지털저널리즘센터(Tow Center)가 2025년 3월 6일 Columbia Journalism Review에 발표한 조사입니다(Klaudia Jaźwińska, Aisvarya Chandrasekar). 학회 논문이 아니라 연구기관이 매체에 낸 조사 보고입니다.

어떻게 쟀나

발췌문은 일부러 쉬운 것으로 골랐습니다.

“We deliberately chose excerpts that, if pasted into a traditional Google search, returned the original source within the first three results.”

같은 발췌문을 기존 구글 검색에 붙여 넣으면 원문이 상위 세 개 결과 안에 나오는 것만 골랐다는 뜻입니다. 기존 검색으로는 쉽게 풀리는 과제였습니다.

결과

“Collectively, they provided incorrect answers to more than 60 percent of queries. Across different platforms, the level of inaccuracy varied, with Perplexity answering 37 percent of the queries incorrectly, while Grok 3 had a much higher error rate, answering 94 percent of the queries incorrectly.”

전체적으로 질문의 60% 넘게 틀린 답을 냈고, 도구마다 차이가 커서 Perplexity는 37%, Grok 3는 94%를 틀렸습니다.

틀린 답을 내는 방식도 문제였습니다.

“Most of the tools we tested presented inaccurate answers with alarming confidence, rarely using qualifying phrases such as “it appears,” “it’s possible,” “might,” etc., or acknowledging knowledge gaps with statements like “I couldn’t locate the exact article.””

대부분의 도구가 “그런 것 같다”, “~일 수 있다” 같은 단서를 거의 붙이지 않고, “정확한 기사를 찾지 못했다”고 모르는 것을 인정하지도 않은 채 틀린 답을 확신에 찬 말투로 냈다는 뜻입니다. 유료 모델(Perplexity Pro, Grok 3)은 무료 버전보다 맞힌 질문이 많았지만, 거절하지 않고 단정적으로 틀린 답을 내는 경향 때문에 오류율도 더 높았다고 보고했습니다. 언론사와 콘텐츠 계약을 맺었다고 해서 정확하게 인용되는 것도 아니었습니다. 원문이 아닌 야후 뉴스·AOL 같은 재게재본을 출처로 다는 경우도 있었습니다.

연구진이 밝힌 한계

“Furthermore, our findings represent just one occurrence of each of the excerpts being queried in the AI search tools. Because AI chatbots’ responses are dynamic and can vary in response to the same query, the chances are high that if someone ran the exact same prompts again, they would get different outputs.”

발췌문마다 한 번씩만 물은 결과이고, 같은 질문을 다시 하면 다른 답이 나올 가능성이 높다고 연구진 스스로 적었습니다. 또 이 설계가 일반 사용자의 행동을 그대로 반영하지 않을 수 있고, 결과를 모든 모델이나 언론사로 일반화하려는 것이 아니라고 밝혔습니다.

연구 3 — 공영방송 22곳이 3,000개 넘는 답변을 검사했다

유럽방송연맹(EBU)이 조율하고 BBC가 이끈 연구로, 2025년 10월 22일 발표됐습니다. 아래 수치는 BBC 미디어센터의 발표문에서 확인한 것이며, 전체 보고서 본문은 이 글을 쓰며 따로 열어 보지 않았습니다.

18개국 22개 공영방송이 14개 언어로 참여했고, 각 방송사의 기자들이 ChatGPT·Copilot·Gemini·Perplexity의 답변 3,000개 이상을 정확성, 출처 표시, 의견과 사실의 구분, 맥락 제공 기준으로 평가했습니다.

“45% of all AI answers had at least one significant issue.”

“31% of responses showed serious sourcing problems – missing, misleading, or incorrect attributions.”

“20% contained major accuracy issues, including hallucinated details and outdated information.”

전체 답변의 45%에 중대한 문제가 하나 이상 있었고, 31%는 출처가 빠졌거나 오해를 부르거나 틀린 심각한 출처 문제를, 20%는 지어낸 세부 내용이나 낡은 정보 같은 큰 정확성 문제를 보였다는 뜻입니다. 발표문은 Gemini가 응답의 76%에서 중대한 문제를 보여 다른 도구의 두 배가 넘었고, 주로 출처 표시가 약했기 때문이라고 적었습니다. 같은 해 2월 BBC의 1차 조사와 비교하면 일부 개선은 있었지만 오류 수준은 여전히 높았다고 했습니다.

브랜드 입장에서 눈여겨볼 문장은 따로 있습니다. BBC가 같은 날 낸 이용자 조사 결과를 소개한 부분입니다.

“Many people assume AI summaries of news content are accurate, when they are not; and when they see errors, they blame news providers as well as AI developers – even if those mistakes are a product of the AI assistant.”

많은 사람이 AI 요약이 정확하다고 여기고, 오류를 발견하면 그 오류가 AI가 만든 것이어도 AI 개발사뿐 아니라 뉴스를 만든 쪽도 탓한다는 뜻입니다. 뉴스에 대한 조사지만, “AI가 틀리게 옮긴 말의 책임이 원래 출처에게도 돌아간다”는 구조는 회사나 가게 정보에도 그대로 생각해 볼 수 있습니다.

세 연구를 함께 읽을 때 주의할 점

세 수치는 과제와 판정 기준이 모두 달라서 서로 비교하거나 “AI 검색의 오류율은 몇 %”로 합칠 수 없습니다. 또 셋 다 뉴스나 일반 지식을 다뤘고, 한국어 지역 업체 정보(영업시간·위치·진료 과목 같은 것)를 잰 공개 연구는 찾지 못했습니다. 공통으로 말하는 것은 하나입니다. 출처 표시가 있다는 사실만으로 답변 내용이 맞다고 볼 수 없다는 것입니다.

이 사이트에서 본 사례 — 확인되지 않은 값이 그대로 옮겨졌다

유환호가 만든 용인 흥덕 노블365의원 홈페이지는 2026년 10월 5일 새 도메인으로 공개됐고, 엿새 뒤인 10월 11일 ChatGPT에 물은 질문 4개 모두에서 언급되고 출처로 인용됐습니다. 주말 진료시간·점심시간·주말 접수 마감은 사이트에 적은 값과 같게 나왔습니다.

그런데 확인되지 않은 값도 함께 옮겨졌습니다. ‘흥덕 야간병원 알려줘’에 대한 답변은 “평일에는 19:30까지”라고 했습니다. 사이트 본문에는 “화–목 09:30–19:30, 월·금은 출처마다 달라 전화 확인”이라고 적었지만, 출처로 열린 의원 소개 페이지의 요일별 표에는 월·금도 09:30–19:30(‘전화로 확인’ 표시)으로, 구조화 데이터에는 표시 없이 월–금 19:30 마감으로 들어가 있었습니다. ChatGPT 답변은 이 값과 같았고 “전화로 확인”은 빠졌습니다.

이 관측에서 얻은 교훈은 두 가지입니다. 첫째, AI는 본문의 단서 문장보다 표나 구조화 데이터의 깔끔한 값을 가져갈 수 있습니다. 둘째, 이 확인되지 않은 값의 출처는 AI가 아니라 사이트 자신이었습니다. 한 엔진, 하루 한 번의 단일 관측이라 일반화할 수는 없습니다. 자세한 기록은 노블365의원 사례에 있습니다.

인용 여부보다 “무엇이라고 말했는지”를 확인한다

AI 답변을 점검할 때 보통은 “나왔나, 안 나왔나”만 셉니다. 위 연구와 사례를 보면 그것만으로는 부족합니다. 같은 질문을 물을 때 아래 항목을 함께 적어 두는 것이 좋습니다. 질문을 만들고 세는 방법은 AI 답변에 나오는지 직접 확인하는 법에 정리했습니다.

틀린 사실은 원래 정보에서 고친다

AI 답변 자체를 운영자가 직접 고칠 방법은 없습니다. 할 수 있는 일은 AI가 가져다 쓰는 원래 정보를 정확하고 서로 같게 만드는 것입니다.

1. 자기 사이트 안에서 값을 하나로 맞춥니다. 본문, 표, 푸터, 구조화 데이터에 같은 사실이 서로 다른 값으로 들어가 있지 않은지 봅니다. 확인되지 않은 값은 표나 구조화 데이터에 확정값처럼 넣지 않습니다.
2. 구조화 데이터와 화면의 글을 일치시킵니다. 구글 공식 문서는 AI 기능에 대한 권장 사항으로 이렇게 적었습니다.

“Making sure your structured data matches the visible text on the page”

구조화 데이터가 페이지에 보이는 글과 일치하는지 확인하라는 뜻입니다.

3. 지도와 비즈니스 정보를 최신으로 둡니다. 같은 문서에는 이 항목도 있습니다.

“Checking that your Merchant Center and Business Profile information is up-to-date”

머천트 센터와 비즈니스 프로필 정보가 최신인지 확인하라는 뜻입니다. 한국에서는 네이버 플레이스도 같은 기준으로 맞춥니다.

4. 외부 프로필과 소개 글도 같은 값으로 맞춥니다. 블로그 소개, SNS 프로필, 업체 등록 사이트에 예전 영업시간이나 이전 주소가 남아 있으면 AI가 그것을 가져갈 수 있습니다. 어느 플랫폼을 AI가 읽을 수 있는지는 플랫폼 16곳의 robots.txt를 확인한 글에 정리했습니다.
5. 고친 뒤 같은 질문을 다시 묻습니다. 반영은 바로 되지 않을 수 있습니다. 구글 문서는 다시 크롤링되기까지 페이지에 따라 며칠에서 몇 달까지 걸릴 수 있다고 적고 있습니다.

할 수 없는 것

정보를 고쳐도 AI가 정확하게 옮길 것이라는 보장은 없습니다. 연구 2의 언론사들처럼 AI 회사와 콘텐츠 계약을 맺은 곳도 정확한 인용이 보장되지 않았습니다. 원래 정보를 맞추는 일은 AI가 틀릴 이유를 줄이는 일이지, 답변을 통제하는 방법이 아닙니다. 그래서 한 번 고치고 끝내기보다, 같은 질문을 정해 두고 주기적으로 다시 묻는 것이 현실적인 관리 방법입니다. 이 사이트가 일하는 순서는 진행 방식에 적어 두었습니다.

이 글을 쓴 사람

유환호는 AI 상위노출, 곧 ChatGPT·구글·네이버 같은 AI 검색 답변에 사이트가 정확하게 나오도록 돕는 일을 합니다. 이 글에 나온 노블365의원 홈페이지도 유환호가 만든 사이트입니다. 이해관계가 있는 사람이 쓴 글이라는 점을 감안해 읽어 주세요. 연구 수치는 모두 위 출처 원문에서 확인한 값입니다.