AI가 우리 가게를 틀리게 말할 때 — 출처 찾기, 원문 고치기, 다시 묻기

AI가 틀리게 말하는 방식은 몇 가지로 나뉜다

AI 답변에 가게나 병원, 학원이 나오는 것만으로 일이 끝나지는 않습니다. 나오기는 했는데 영업시간이 틀리거나, 가격이 예전 값이거나, ‘전화로 확인하세요’ 같은 조건이 빠진 채 확정된 사실처럼 옮겨지는 경우가 있습니다. 손님은 그 말을 믿고 찾아왔다가 헛걸음을 합니다.

출처 표시가 얼마나 정확한지를 잰 연구와 ‘무엇이라고 말했는지’를 확인하는 법은 AI 검색의 출처 표시는 얼마나 정확한가에 정리했습니다. 이 글은 그다음 단계, 곧 틀린 답을 발견했을 때 무엇을 어떤 순서로 할지를 다룹니다.

이 사이트가 직접 작업한 사이트에서 본 사례와 연구에서 보고된 오류를 묶으면 대략 이렇게 나뉩니다.

유형마다 고칠 곳이 다릅니다. 그래서 첫 단계는 언제나 틀린 말이 어디서 왔는지 찾는 것입니다.

이 사이트에서 본 세 가지 오류

아래 세 건은 모두 ChatGPT에 같은 질문을 한두 번 물은 단일 관측입니다. 같은 질문도 다시 물으면 답이 달라질 수 있어 일반화할 수 없고, 유형을 보여 주는 예로만 읽어 주세요.

단서가 빠졌다 — 노블365의원

2026년 10월 5일 새 도메인으로 공개한 용인 흥덕 노블365의원 홈페이지는 엿새 뒤 ChatGPT 질문 4개 모두에서 인용됐습니다. 그런데 야간 진료를 물은 답변은 ‘평일에는 19:30까지’라고 했습니다. 사이트 본문은 월·금요일을 ‘출처마다 달라 전화 확인’이라고 적었지만, 출처로 열린 의원 소개 페이지의 요일별 표에는 월·금도 09:30–19:30으로(옆에 ‘전화로 확인’ 표시), 구조화 데이터에는 그 표시 없이 월–금 19:30 마감으로 들어가 있었습니다. 답변은 이 값과 같았고 ‘전화로 확인’은 빠졌습니다.

여기서 배운 것은 단서를 본문에만 적으면 부족하다는 점입니다. 구글의 구조화 데이터 일반 가이드라인은 이렇게 적었습니다.

“Your structured data must be a true representation of the page content.”

구조화 데이터는 페이지 내용을 사실대로 나타내야 한다는 뜻입니다. 본문은 ‘확인 필요’라고 말하는데 데이터는 ‘확정’이라고 말하면, 데이터가 본문보다 더 많이 아는 척을 하는 셈입니다. 같은 문서는 이런 문장도 둡니다.

“Don’t mark up content that is not visible to readers of the page.”

읽는 사람에게 보이지 않는 내용은 마크업하지 말라는 뜻입니다. 이 의원 사례에 옮기면, 확인되지 않은 요일의 시간은 구조화 데이터에서 빼고, 표에서도 시간 옆에 표시를 붙이기보다 시간 대신 ‘전화 확인’을 칸 안에 적는 편이 낫다고 봅니다. 단서가 값과 같은 칸에 있어야 함께 옮겨질 가능성이 커진다는 것은 이 한 번의 관측에서 끌어낸 해석입니다. 자세한 기록은 노블365의원 사례에 있습니다.

다른 출처가 섞였다 — 트이다학원 남악점

2026년 10월 13일 ‘남악 학원 추천해줘’에 대한 ChatGPT 답변은 트이다학원 남악점을 가장 먼저 상담해 볼 곳으로 들었습니다. 대상 나이·과목·수업 요일은 홈페이지에 적은 내용과 같았습니다. 그런데 수강료는 ‘교육청 등록 정보 기반 사이트’, 후기 4건은 당근, 반경 1km 학원 수는 다른 학원 정보 사이트에서 왔다고 답변이 스스로 밝혔고, 화면에 보인 출처 표시도 ‘당근마켓 +1’이었습니다.

이 정보들이 틀렸다는 뜻은 아닙니다. 다만 학원이 관리하지 않는 곳의 값이 학원 소개처럼 함께 나온다는 점이 중요합니다. 수강료가 바뀌었는데 외부 사이트에 예전 값이 남아 있으면, 홈페이지를 아무리 고쳐도 답변에는 예전 값이 나올 수 있습니다. 자세한 기록은 트이다학원 남악점 사례에 있습니다.

사이트에 없는 평가가 붙었다 — 1965원조제일돌곱창 상무점

2026년 10월 14일 ‘광주 서구 맛집 추천해줘’의 첫 번째 답변은 출처 2곳 중 하나로 제일돌곱창 홈페이지를 열었습니다. 같은 줄의 ‘모듬 400g이 40,000원’, ‘직원이 구워주는 스타일’은 홈페이지에 적힌 내용이었습니다. 그러나 ‘다이닝코드에서도 상무지구 곱창집 중 평이 좋은 편’이라는 말은 이 홈페이지에 없는 내용이었습니다.

좋은 말이라도 가게가 확인할 수 없는 문장입니다. 이런 문장을 그대로 가져다 홈페이지에 ‘○○에서도 인정’처럼 적으면, 근거가 없는 주장을 내 이름으로 내는 셈이 됩니다. 확인할 수 없는 제3자 평가는 고칠 대상이라기보다 내 원문으로 옮기지 않을 대상입니다. 자세한 기록은 제일돌곱창 사례에 있습니다.

연구가 말하는 것 — 덜 알려진 대상일수록, 자주 바뀌는 정보일수록 틀린다

덜 알려진 인물일수록 사실 오류가 많았다

Sewon Min 외 8명이 쓴 「FActScore」는 EMNLP 2023 본 학회 논문입니다(arXiv 2305.14251, 2023년 5월 공개, 10월 개정). 연구진은 위키데이터에서 위키백과 문서가 있는 인물 183명을 뽑아 Tell me a bio of <entity>라고 묻고, 답변을 더 쪼갤 수 없는 사실 단위로 나눠 위키백과로 뒷받침되는지 사람이 검사했습니다.

논문의 표 1에 실린 값입니다. 검색을 쓰는 PerplexityAI가 가장 높았지만, 연구진은 이 값조차 기대보다 낮다고 적었습니다. 이 글의 주제와 더 가까운 것은 다음 결과입니다.

“Error rates are higher for rarer entities.”

덜 알려진 대상일수록 오류율이 높았다는 뜻입니다. 연구진은 검색을 쓰는 경우도 예외가 아니었다고 덧붙였습니다.

“FACTSCORE of PerplexityAI still significantly drops as entities are rarer: a relative drop of 50% and 64% observed at the atomic-level and sentence-level, respectively.”

검색을 쓰는 PerplexityAI도 대상이 드물수록 점수가 크게 떨어져, 사실 단위로 50%, 문장 단위로 64% 상대 하락을 보였다는 뜻입니다. 또 답변의 뒷부분에 나오는 사실일수록 정확도가 낮았다고 보고했습니다.

연구진이 PerplexityAI의 틀린 사실 30개를 뽑아 나눠 보니, 위키백과의 한 문장과 단어 수준에서 바로 어긋나는 경우가 33.3%였습니다. 예로 든 것은 시민권을 얻은 해가 2020년인데 2023년으로 나온 답, ‘이주의 투수’를 ‘올해의 투수’로 바꾼 답입니다. 숫자 하나, 단어 하나가 바뀌는 오류입니다.

한계: 위키백과에 문서가 있는 인물의 영어 약력만 다뤘고, 2023년 모델이 대상입니다. 동네 가게나 의원의 영업시간을 잰 연구는 아닙니다. 다만 동네 가게는 대부분 웹에 정보가 적은 ‘덜 알려진 대상’에 가깝고, 그럴수록 답변에 들어간 숫자 하나를 직접 확인해야 한다는 것은 이 결과에서 끌어낼 수 있는 해석입니다.

자주 바뀌는 정보에서 모든 모델이 약했다

Tu Vu 외 10명의 「FreshLLMs」(arXiv 2310.03214, 2023년 10월 공개, 11월 개정)는 arXiv 페이지에 프리프린트로 표기돼 있어, 이 글에서는 학회 심사를 거치지 않은 자료로 다룹니다. 연구진은 최신 세상 지식을 묻는 질문 모음(FreshQA)을 만들고 5만 건이 넘는 사람 판정으로 여러 모델을 평가했습니다.

“all models (regardless of model size) struggle on questions that involve fast-changing knowledge and false premises.”

모델 크기와 상관없이 모든 모델이 빠르게 바뀌는 지식과 잘못된 전제가 들어간 질문에 약했다는 뜻입니다. 연구진은 검색엔진에서 가져온 최신 정보를 프롬프트에 함께 넣으면 성능이 크게 오른다고 보고했고, 이때 가져온 근거의 개수와 순서가 답의 정확성에 중요한 역할을 한다고 적었습니다.

한계: 일반 상식·시사 질문을 다룬 영어 연구이고, 특정 가게 정보를 잰 것은 아닙니다. 영업시간·가격·휴무일은 대표적인 ‘자주 바뀌는 정보’이므로, AI가 읽어 갈 원문이 최신이고 서로 같아야 한다는 방향은 같습니다. 날짜와 갱신 신호를 다루는 법은 AI 답변과 최신성에 따로 정리했습니다.

틀린 답을 발견했을 때의 순서

1. 답변을 그대로 기록한다

날짜, 엔진, 물은 질문 그대로, 답변 문장, 출처 표시를 캡처합니다. 고친 뒤 비교하려면 고치기 전 기록이 있어야 합니다. 질문을 정하고 기록하는 법은 AI 답변에 나오는지 직접 확인하는 법에 있습니다.

2. 출처를 열어 틀린 말이 어디서 왔는지 찾는다

3. 원문을 고친다 — 단서는 데이터 안에

• 한 값, 여러 곳: 영업시간처럼 여러 페이지에 나오는 값은 한 곳에서 관리해 모든 페이지와 구조화 데이터가 같은 값을 쓰게 합니다.
• 확인되지 않은 값은 데이터에서 뺀다: 확정이 아닌 값은 구조화 데이터에 넣지 않고, 표에는 시간 대신 ‘전화 확인’을 그 칸에 씁니다.
• 지도 프로필도 같은 값으로: 구글 비즈니스 프로필 도움말은 프로필에서 ‘Edit profile’ → ‘Hours’로 들어가 요일별 시간을 고치는 순서를 안내하고, 공휴일이나 행사처럼 평소와 다른 날은 ‘Special hours’로 따로 정하라고 적었습니다. 임시 휴무를 본문에만 적지 말고 이런 칸에 넣어야 기계가 읽는 값도 바뀝니다.
• 남의 평가를 옮기지 않는다: 확인할 수 없는 순위·평가 문장은 내 원문에 쓰지 않습니다.

이름과 업종 표기를 맞추는 일은 엔티티 일관성, 지도와 홈페이지의 주소·전화·영업시간을 맞추는 일은 동네 가게의 AI 상위노출에 정리했습니다.

4. 바뀐 주소를 알린다

IndexNow FAQ는 콘텐츠가 추가·수정·삭제될 때마다 알리라고 권합니다.

“Websites should notify IndexNow whenever content is added, updated, or removed”

같은 FAQ는 제출한 주소가 IndexNow를 쓰는 검색엔진 전체에 공유된다고 적었고, 엔드포인트 목록에 Bing과 Naver가 들어 있습니다. 그러나 이런 문장도 함께 있습니다.

“Submitting a URL does not guarantee immediate indexing.”

제출해도 즉시 색인이 보장되지 않는다는 뜻입니다. 구글은 IndexNow 목록에 없으므로 서치 콘솔의 URL 검사 도구로 크롤링을 요청합니다. 구글 문서도 같은 한계를 적었습니다.

“Requesting a crawl does not guarantee that inclusion in search results will happen instantly or even at all.”

“Crawling can take anywhere from a few days to a few weeks.”

크롤링 요청이 검색 결과 포함을 즉시, 또는 아예 보장하지 않고, 크롤링에는 며칠에서 몇 주가 걸릴 수 있다는 뜻입니다. 단계별로 걸리는 기간은 AI 상위노출은 얼마나 걸리나에 정리했습니다.

5. 피드백 버튼으로 알린다

ChatGPT: OpenAI 도움말의 ChatGPT FAQ는 이렇게 적었습니다.

If you find an answer is incorrect, please provide that feedback by using the “Thumbs Down” button.

답이 틀렸다면 싫어요 버튼으로 피드백을 달라는 뜻입니다. 이 FAQ에는 인터넷에 연결돼 있지 않다는 예전 설명도 남아 있어 지금의 검색 기능과 맞지 않는 부분이 있지만, 틀린 답을 싫어요 버튼으로 알리라는 안내도 같은 FAQ에 적혀 있습니다. 이용약관이나 법을 어길 수 있는 내용은 별도 신고 문서가 있고, 그 문서에는 이런 문장이 있습니다.

“Reported domains and other content may be reviewed by OpenAI’s Model Quality team, which may apply filters or other mitigations to help prevent ChatGPT from relying on unreliable sources in future responses.”

신고된 도메인과 콘텐츠는 OpenAI 모델 품질팀이 검토할 수 있고, 앞으로 ChatGPT가 믿을 수 없는 출처에 기대지 않도록 필터 같은 조치를 할 수 있다는 뜻입니다. 이 경로는 약관·법 위반 신고용이라, 단순히 영업시간이 틀린 경우에는 싫어요 버튼 쪽이 더 맞는 경로로 보입니다.

구글 AI 개요: 구글 검색 도움말은 AI 개요 아래의 싫어요 아이콘을 누르고 ‘Report a problem’에서 알맞은 항목을 고르라고 안내하고, 각 AI 개요 오른쪽 위의 점 세 개 메뉴로도 피드백을 보낼 수 있다고 적었습니다. 같은 문서의 문장입니다.

“AI Overviews can and will make mistakes.”

“The feedback you submit includes your most recent search query and its search results.”

AI 개요는 실수를 할 수 있고 실제로 할 것이며, 보낸 피드백에는 가장 최근 검색어와 그 검색 결과가 함께 담긴다는 뜻입니다. 구글 문서는 피드백이 AI 개요 개선에 쓰인다고 적었지만, 구글과 OpenAI 문서 어디에서도 특정 답변을 언제까지 고쳐 준다는 약속은 찾지 못했습니다.

6. 날을 바꿔 다시 묻는다

고친 날짜를 적어 두고, 며칠 간격으로 같은 질문을 새 대화에서 다시 묻습니다. 한 번 맞게 나왔다고 끝난 것이 아니고, 한 번 틀리게 나왔다고 고친 것이 실패한 것도 아닙니다. 여러 날의 기록을 이어 봐야 바뀌었는지 알 수 있습니다.

체크리스트

할 수 없는 것

AI 답변을 운영자가 직접 고칠 수는 없고, 위 순서를 다 해도 정정이 보장되지 않습니다. 할 수 있는 일은 AI가 틀릴 이유를 줄이는 것입니다. 원문을 하나로 맞추고, 확실하지 않은 것은 확실한 척 적지 않고, 바뀐 것을 알리고, 다시 묻는 일을 꾸준히 이어 가는 것입니다. 이 사이트가 일하는 순서는 진행 방식에, AI 답변에 나오는 일 전체는 AI 상위노출 정리에 적어 두었습니다.

이 글을 쓴 사람

유환호는 ChatGPT·구글·네이버 같은 AI 검색 답변에 사이트가 정확하게 나오도록 돕는 AI 검색 최적화 일을 합니다. 이 글에 나온 노블365의원, 트이다학원 남악점, 1965원조제일돌곱창 상무점의 홈페이지도 유환호가 만든 사이트입니다. 이해관계가 있는 사람이 쓴 글이라는 점을 감안해 읽어 주세요. 연구와 공식 문서의 인용은 모두 위 출처 원문에서 확인한 문장입니다.