AI 답변은 최신 글을 더 좋아할까 — 날짜 실험 논문과 구글·빙 공식 문서로 본 갱신일 관리

짧은 답 — 실험에서는 최신 날짜가 이겼다, 실제 서비스는 아직 모른다

언어 모델은 검색 시스템에서 1차 검색이 모은 후보 문서의 순서를 다시 매기는 2단계 재정렬(reranking)에도 쓰입니다. 이 단계에서 언어 모델이 날짜만 보고 더 새로운 문서를 고르는지 잰 연구가 있습니다. 결과는 “그렇다”였습니다.

다만 이 결과는 연구진이 만든 실험 환경에서 나온 것입니다. ChatGPT·Perplexity·구글 AI 개요 같은 실제 서비스가 날짜를 얼마나 반영하는지는 이 연구가 보여 주지 않습니다. 그래서 이 글은 두 가지를 나눠 봅니다.

이 사이트의 GEO 논문 정리에서 이 연구를 한 단락으로 다뤘습니다. 여기서는 실험 조건과 숫자를 더 자세히 봅니다.

Fang 외 연구는 무엇을 했나

와세다대학교 등의 연구진(Hanpei Fang, Sijie Tao, Nuo Chen, Kai-Xin Chang, Tetsuya Sakai)이 2025년 9월 arXiv에 올린 논문입니다. 2026년 9월 고친 2판(v2) 본문에는 SIGIR-AP 2025 학회 논문집 표기와 DOI(10.1145/3767695.3769493)가 붙어 있습니다. 질문은 하나였습니다.

“Do LLMs systematically prefer newer content when acting as search rerankers?”

언어 모델이 검색 결과의 순서를 다시 매길 때, 더 새로운 내용을 체계적으로 선호하는가를 묻는 문장입니다.

실험 조건

날짜를 붙이는 방식이 중요합니다. 첫 재정렬 결과에서 100위 문단에 가장 최신인 2025/01/01을, 한 칸 올라갈 때마다 정확히 1년씩 이른 날짜를 붙여 1위 문단은 1926/01/01이 됐습니다. 모델이 이미 가장 관련 있다고 본 문단에 가장 오래된 날짜를 붙인 셈입니다. 논문은 이렇게 설명합니다.

“If the date injection exerts an overwhelming influence, the SERP should be nearly reversed.”

날짜의 영향이 압도적이라면 결과 순서가 거의 뒤집힐 것이라는 뜻입니다. 문단 내용은 한 글자도 바꾸지 않았고, 바꾼 것은 날짜 한 줄뿐입니다.

결과

순서가 뒤집히지는 않았지만, 모든 모델이 최신 날짜 문단을 위로 끌어올렸습니다.

초록에 나오는 “최대 4.78년”은 LLaMA3-8B의 DL22 값이고, “최대 95위 이동”은 GPT-3.5-turbo의 DL21 값입니다. 논문은 상위 10개 평균 연도 변화가 모든 모델에서 통계적으로 유의했다(p<0.05)고 보고했습니다.

큰 모델일수록 영향이 작았지만 사라지지는 않았습니다.

“Although larger models attenuate the effect, none eliminate it.”

극단적인 이동도 모든 모델에서 있었습니다. 한 문단의 최대 이동이 가장 작았던 경우(Qwen2.5-7B, DL21)에도 한 문단이 61칸 움직였습니다. 목록 전체로 보면 시소처럼 움직였습니다. 최신 날짜 문단은 위로, 오래된 날짜 문단은 아래로 갔고, 맨 아래 10개 구간(91~100위)은 모든 모델에서 평균 연도가 오래된 쪽으로 이동했습니다.

둘 중 하나를 고르게 했을 때

두 번째 실험은 사람이 같은 관련성 등급으로 판정한 문단 두 개를 놓고 어느 쪽이 더 관련 있는지 고르게 했습니다. 먼저 날짜 없이 고르게 한 뒤, 모델이 고른 쪽에 1980/01/01, 다른 쪽에 2025/01/01을 붙여 다시 물었습니다. 비용 때문에 공개 모델 4종과 DL21만 썼습니다.

날짜 한 줄 때문에 LLaMA3-8B에서는 원래 고른 쪽이 평균 4분의 1 정도 바뀌었습니다.

연구진이 밝힌 한계

• 문서 모음은 TREC 두 개뿐이고, 둘씩 고르는 실험은 공개 모델 4종·DL21 하나로만 했습니다.
• 재정렬 창 크기를 10으로 고정했습니다.
• 날짜 차이는 목록 실험에서 1926~2025년(1년 간격), 둘씩 고르는 실험에서 1980년 대 2025년으로 컸습니다. 날짜 차이의 크기가 결과에 미치는 영향은 다루지 않고 후속 연구로 남긴다고 직접 적었습니다.

“The size of the time gap itself may modulate the strength of recency bias as well. We leave a thorough study of this factor to future work.”

실제 웹에서는 경쟁 문서끼리 날짜 차이가 몇 달, 몇 년 정도입니다. 이 실험의 4.78년을 그대로 옮겨 “날짜를 바꾸면 순위가 몇 칸 오른다”고 말할 수는 없습니다. 또 한국어 문서와 실제 AI 검색 서비스는 실험 대상이 아니었습니다.

연구진이 짚은 “가짜 최신”

이 논문이 흥미로운 이유는 서론에서 이 현상을 기존 검색의 오래된 관행과 연결했기 때문입니다.

“However, the majority of ‘updates’ are triggered by minor modifications …, while leaving the substantive text untouched, which nevertheless reset the ‘Last updated on’ or ‘Published on’ timestamp.”

대부분의 ‘갱신’은 사소한 수정으로 일어나고 본문은 그대로인데도, ‘최종 수정’이나 ‘발행’ 날짜는 새로 찍힌다는 뜻입니다. 연구진은 결론에서 반대쪽 위험도 적었습니다.

“if temporal cues go unchecked, LLM-based rerankers may undervalue authoritative yet older material”

날짜 신호를 그대로 두면 권위 있지만 오래된 자료가 저평가될 수 있다는 경고입니다. 이 연구는 날짜를 조작하라는 근거가 아니라, 날짜가 실제로 고친 날이어야 하는 이유에 가깝습니다.

구글은 날짜를 어떻게 보라고 하나

구글 Search Central의 세 문서가 날짜를 다룹니다.

페이지에 보이는 날짜

검색 결과에 나오는 날짜(byline date)에 관한 문서는 먼저 날짜를 눈에 보이게 두라고 합니다.

“Add a user-visible date to the page and feature it prominently.”

“게시” 또는 “최종 수정” 같은 말로 날짜의 뜻을 표시하고, 구조화 데이터의 datePublished·dateModified와 화면의 날짜를 맞추라고 합니다.

“Make your dates and times consistent. Ensure that the date (and optional time and timezone) match between the equivalent user-visible and structured values.”

날짜는 페이지 자체의 발행일이나 갱신일이어야 하고, 페이지가 다루는 사건의 날짜가 아니어야 합니다.

“The dates must describe the publication or update date of the page, not the stories or events described therein.”

같은 문서에 이런 문장도 있습니다. 날짜 표시 하나에 기대지 않는다는 뜻입니다.

“Google doesn’t depend on a single date factor because all factors can be prone to issues.”

날짜만 바꾸는 일에 대한 질문

구글의 ‘유용한 콘텐츠’ 자가 점검 문서에는 검색엔진을 먼저 생각한 콘텐츠를 가려내는 질문 목록이 있습니다. 그중 두 개가 최신성 이야기입니다.

“Are you changing the date of pages to make them seem fresh when the content has not substantially changed?”

내용이 크게 바뀌지 않았는데 신선해 보이려고 날짜를 바꾸고 있는지 묻습니다.

“Are you adding a lot of new content or removing a lot of older content primarily because you believe it will help your search rankings overall by somehow making your site seem ‘fresh?’ (No, it won’t)”

사이트를 ‘신선해’ 보이게 하려고 새 글을 몰아넣거나 오래된 글을 대량으로 지우는 일도, 구글은 순위에 도움이 되지 않는다고 괄호 안에 직접 답했습니다.

사이트맵 lastmod

사이트맵 문서는 lastmod를 조건부로 쓴다고 밝힙니다.

“Google uses the value if it’s consistently and verifiably (for example by comparing to the last modification of the page) accurate.”

일관되고 검증 가능하게 정확할 때만 쓴다는 뜻입니다. 무엇이 의미 있는 수정인지도 적었습니다.

“The value should reflect the date and time of the last significant update to the page. For example, an update to the main content, the structured data, or links on the page is generally considered significant, however an update to the copyright date is not.”

본문, 구조화 데이터, 링크를 고친 것은 의미 있는 수정이고, 저작권 연도를 바꾼 것은 아닙니다. 그리고 changefreq와 priority는 쓰지 않는다고 했습니다.

“Google ignores and values.”

빙은 무엇을 권하나

빙 웹마스터 지침은 검색 결과뿐 아니라 Copilot 답변과 근거(grounding) 결과를 직접 언급하고 있어 AI 답변 쪽에서 따로 볼 만합니다. 지침은 사이트맵에 lastmod 같은 최신성 신호를 넣으라고 하면서 이렇게 덧붙입니다.

“Additionally, freshness signals like accurate lastmod values and HTTP validation headers such as ETags help Bing detect content changes more reliably.”

‘정확한’ lastmod와 ETag 같은 HTTP 검증 헤더가 변경을 더 확실히 알아채게 돕는다는 뜻입니다. URL이 추가되거나 내용이 바뀌거나 URL이 지워졌을 때는 IndexNow로 알리라고 합니다.

“Timely notifications help Bing refresh the index and reduce outdated or incorrect URL references in Copilot responses and grounding results.”

제때 알리면 Copilot 답변과 근거 결과에서 오래되거나 틀린 URL 참조가 줄어든다는 설명입니다. 같은 지침의 ‘내용을 정확하고 최신으로 유지하라’ 항목은 이렇게 시작합니다.

“Update content when facts or guidance change.”

그리고 “Use freshness signals appropriately”(최신성 신호를 적절하게 쓰라), “Remove or revise outdated information to prevent incorrect information from surfacing”(틀린 정보가 드러나지 않게 오래된 정보를 지우거나 고치라)가 이어집니다. 사이트맵에 대해서는 “Sitemaps do not guarantee visibility”라고 적어, 노출을 보장하지 않는다는 점도 분명히 했습니다.

사이트에서 할 일

연구와 공식 문서를 겹쳐 보면 방향은 하나입니다. 날짜는 올리는 것이 아니라, 내용을 고친 결과로 올라가는 것입니다.

이 사이트는 이렇게 하고 있습니다. 인사이트 글마다 내용을 고친 날을 updated 하나에 적고, 그 값이 화면의 ‘최종 확인’ 날짜, 구조화 데이터의 dateModified, 사이트맵 lastmod로 함께 나갑니다. 사이트맵 설정 파일에는 “lastmod = 그 페이지 내용이 실제로 바뀐 날. 날짜를 일괄로 올리면 검색엔진이 lastmod 를 믿지 않게 된다”는 주석을 달아 두었습니다. 그래도 사람이 하는 일이라 놓칠 때가 있습니다. 내용을 고치고 갱신일을 그대로 둔 실수는 기록에, 새 페이지가 갱신일 없이 사이트맵에 나간 실수는 다른 기록에 남겼습니다.

주기적으로 다시 확인할 것 — 영업시간과 가격

가게·병원·학원 홈페이지에서 최신성은 ‘새 글’보다 적힌 사실이 지금도 맞는가의 문제입니다. 이 사이트가 기록한 관측에서 ChatGPT 답변에는 홈페이지에 적힌 값과 같은 내용이 그대로 나왔습니다.

모두 질문당 1~2회 물어본 단일 관측이고, 공개 전 ChatGPT 답변 기준선이 없어 홈페이지가 원인이라고 단정할 수 없습니다. 네 곳 모두 공개한 지 한 달이 안 된 새 페이지였지만, 이것만으로 “새 페이지라서” 나왔다고 말할 수도 없습니다. 분명한 것은 하나입니다. 홈페이지가 출처로 열린 칸세이스시·제일돌곱창·노블365의원 답변에서는 거기 적힌 숫자가 그대로 나왔다는 점입니다. 노블365의원 사례처럼 확인이 덜 된 값도 단서 없이 옮겨졌습니다.

그래서 다음 항목은 정해 둔 주기로 원래 출처(네이버 플레이스, 가게 공지, 직접 전화)와 맞춰 봅니다.

• 영업시간·진료시간·브레이크타임·휴무일
• 가격·메뉴·수강료
• 주소·전화번호·예약 방법
• 이벤트나 기간이 정해진 안내

값이 바뀌었으면 본문, 구조화 데이터, 갱신일을 같은 날 함께 고치고, 확인한 날짜를 페이지에 적어 둡니다. 확인했는데 바뀐 것이 없다면 날짜를 올리지 않습니다. AI 답변을 직접 확인하는 방법은 AI 노출 직접 확인하기에, 작업 순서는 진행 방식에 정리했습니다.

정리

1. 통제된 실험에서 LLM은 날짜만 바뀐 같은 문단 중 최신 날짜를 위로 올렸다. 상위 10개 평균 연도가 최대 4.78년 앞당겨졌고, 큰 모델일수록 덜했지만 사라지지 않았다.
2. 이 결과는 실제 AI 검색 서비스, 한국어, 현실적인 날짜 차이를 잰 것이 아니다.
3. 구글은 날짜만 바꿔 신선해 보이게 하는 일을 스스로 점검하라고 하고, lastmod는 일관되게 정확할 때만 쓴다.
4. 빙은 정확한 lastmod, ETag, 내용이 바뀌었을 때의 IndexNow를 권한다.
5. 할 일은 사실을 다시 확인하고, 고쳤을 때만 정직하게 날짜를 올리는 것이다. 노출을 보장하는 날짜 조작은 없다.

이 글을 쓴 사람

이 글은 AI 상위노출(AI 검색 노출) 작업을 하는 유환호가 썼습니다. 이 주제로 일을 하고 있으므로 이해관계가 있습니다. 그래서 인용한 연구와 공식 문서는 모두 원문을 열어 확인했고, 이 사이트의 관측은 횟수와 한계를 함께 적었습니다.