GEO 원 논문 한 편 깊게 읽기 — 실험 조건, 9가지 기법의 숫자, 그리고 작은 가게에 주는 의미

이 글은 무엇이 다른가

이 사이트의 GEO 논문 12편 정리는 여러 연구를 넓게 훑었습니다. 이 글은 그중 한 편, 스스로 GEO를 처음 정식화했다고 밝힌 Aggarwal 외 논문만 표와 각주까지 다시 읽은 기록입니다. “최대 40%”라는 숫자가 어떤 실험에서, 무엇을 기준으로 나온 값인지를 확인하는 것이 목적입니다.

논문의 기본 정보는 이렇습니다.

이 글의 인용과 숫자는 arXiv v3 본문에서 가져왔고, 초록과 버전 기록만 arXiv 소개 페이지에서 확인했습니다. 아래에서 “기준선”은 아무것도 고치지 않은 원래 문서의 점수를 말합니다.

실험은 어떻게 짜여 있었나

답을 만드는 엔진 — GPT-3.5와 구글 상위 5개 문서

논문은 실제 서비스가 아니라 직접 만든 2단계 엔진으로 실험했습니다. 질문마다 구글 검색 상위 5개 문서를 가져오고, 그 문서만 보고 GPT-3.5가 출처 번호를 단 답을 쓰게 했습니다.

“Each query is augmented with the cleaned text content of the top 5 search results from the Google search engine.”

질문마다 구글 상위 5개 결과의 본문 텍스트를 정리해 붙였다는 뜻입니다.

“The answer is then generated by the gpt3.5-turbo model [20] using the same prompt as prior work [14]. We sample 5 different responses at temperature=0.7, to reduce statistical deviations.”

답은 gpt-3.5-turbo가 만들었고, 같은 질문에 답을 5번씩 뽑아 흔들림을 줄였습니다. 부록에는 “GPT-3.5 turbo was used for all experiments.”라고 적혀 있습니다. 질문 분류 태그(GPT-4)를 빼면, 문서를 고쳐 쓰는 일과 채점하는 일에도 같은 계열의 모델이 쓰였다는 뜻입니다.

여기서 가장 중요한 조건이 나옵니다. 고칠 문서는 이미 후보 5개 안에 들어 있습니다. 이 실험은 “검색돼 후보에 드는가”를 재지 않고, “후보 안에서 답변의 몫을 얼마나 가져가는가”를 쟀습니다.

질문 묶음 — GEO-bench 1만 개

연구진은 GEO-bench라는 질문 1만 개짜리 벤치마크를 만들었습니다.

“We preserve the real-world query distribution, with our benchmark containing 80% informational queries and 10% each for transactional and navigational queries.”

실제 검색어 분포를 따르기 위해 정보형 질문 80%, 거래형·탐색형 각 10%로 맞췄다는 설명입니다. 부록에 실린 예시 질문은 “what does globalization mean”, “Should all citizens receive a basic income?”처럼 모두 영어입니다. 분야 태그는 GPT-4로 붙였습니다. 저자들은 사람이 정밀도·재현율을 확인했다고 하면서도 이렇게 덧붙였습니다.

“the tags can be noisy and should not be considered carefully.”

태그에 잡음이 있을 수 있어 너무 엄밀하게 받아들이지 말라는 뜻입니다. 아래 분야별 결과를 읽을 때 기억해 둘 부분입니다.

노출을 재는 두 가지 자

기존 검색은 “몇 위인가”로 노출을 재지만, AI 답변은 여러 출처를 섞어 한 덩어리로 씁니다. 그래서 논문은 두 가지 지표를 만들었습니다.

1. 위치 보정 단어 수(Position-Adjusted Word Count): 답변에서 그 출처를 단 문장의 단어 수를 세고, 답변 앞쪽에 나올수록 더 높은 가중치를 줍니다.
2. 주관적 노출(Subjective Impression): 질문과의 관련성, 답변이 그 출처에 기댄 정도, 고유성, 체감 위치, 체감 분량, 클릭할 가능성, 다양성 7가지를 GPT-3.5가 채점합니다(G-Eval 방식).

여기서 놓치기 쉬운 점이 하나 있습니다.

“all impression metrics are normalized by multiplying them with a constant factor so that the sum of the impressions of all citations in a response equals 1.”

한 답변 안의 모든 출처 점수를 더하면 1이 되도록 맞췄다는 뜻입니다. 따라서 이 지표는 답변 안에서의 몫입니다. 한 문서의 몫이 늘면 다른 문서의 몫이 줄어듭니다. 그리고 본 실험에서는 질문마다 5개 문서 중 하나만 무작위로 골라 고쳤습니다.

9가지 기법과 결과

기법은 사람이 아니라 LLM이 적용했다

“we apply Generative Engine Optimization methods on website content using a large language model, prompted to perform specific stylistic and content changes to the website.”

각 기법은 사람이 직접 고친 것이 아니라, LLM에게 “통계를 넣어라”, “더 유창하게 써라” 같은 지시를 줘 문서를 고쳐 쓰게 한 것입니다. 이번에 읽은 본문에서는 이렇게 추가된 통계·인용구가 사실인지 검증했다는 설명을 찾지 못했습니다. 논문의 예시 표(표 4)에도 “70% increase in robotic involvement” 같은 추가 문장이 나오지만, 그 숫자의 출처는 따로 밝히지 않았습니다. 표 4 설명에는 “Without adding any substantial new information”(실질적인 새 정보 없이)이라고 적혀 있어, 이런 숫자를 새 정보로 보지 않은 것으로 읽힙니다.

표 1 — 자체 엔진(GPT-3.5) 결과

기준선(고치지 않은 문서)은 두 지표 모두 19.3입니다. 아래 “변화”는 표 1의 절대값으로 제가 단순 계산한 비율입니다. 논문은 출처별 상대 향상을 따로 계산하므로(식 4) 논문 본문의 퍼센트와 조금 다를 수 있습니다.

논문이 직접 쓴 요약은 이렇습니다.

“The best methods improve upon baseline by 41% and 28% on Position-Adjusted Word Count and Subjective Impression respectively.”

최고 기법(인용구 추가)이 기준선보다 위치 보정 단어 수는 41%, 주관적 노출은 28% 높았다는 뜻입니다. 초록의 “최대 40%”도 이 결과를 가리키는 것으로 보입니다. 다만 논문이 두 숫자를 직접 연결해 설명하지는 않습니다.

효과가 있던 것

“Specifically, our top-performing methods, Cite Sources, Quotation Addition, and Statistics Addition, achieved a relative improvement of 30-40% on the Position-Adjusted Word Count metric and 15-30% on the Subjective Impression metric.”

출처 인용·인용구 추가·통계 추가가 위치 보정 단어 수에서 30~40%, 주관적 노출에서 15~30% 향상됐다고 정리했습니다. 문장만 다듬는 방법도 효과가 있었습니다.

“Interestingly, stylistic changes such as improving fluency and readability of the source text (Fluency Optimization and Easy-to-Understand) also resulted in a significant visibility boost of 15-30%.”

내용을 더하지 않고 유창성과 읽기 쉬움만 개선해도 15~30% 높아졌다는 뜻입니다. 저자들은 생성형 엔진이 내용뿐 아니라 표현 방식도 본다고 해석했습니다.

효과가 없던 것

“While widely used for Search Engine Optimization, we find such methods offer little to no improvement on generative engine’s responses.”

키워드 반복에 대한 결론입니다. 기존 검색 최적화에서 널리 쓰였지만 생성형 엔진 답변에서는 효과가 거의 없었다는 뜻입니다. 표 1에서도 위치 보정 단어 수가 기준선보다 낮았습니다.

권위 있는 어조에 대해서는 본문과 표의 분류가 조금 다릅니다. 표 1은 이 기법을 “효과 있는 쪽”에 넣었지만, 본문은 이렇게 썼습니다.

“However, we find no significant improvement, demonstrating that Generative Engines are already somewhat robust to such changes.”

유의미한 개선이 없었고, 생성형 엔진이 이런 어조 변화에는 어느 정도 흔들리지 않는다는 해석입니다. 저자들은 분야별로 보면 토론형 질문과 역사 분야에서는 효과가 컸다고 따로 적었습니다(아래 표 3). 그래도 단정적인 문장으로 “최고”, “유일” 같은 말을 늘리는 것은 이 논문으로 뒷받침되지 않습니다.

원래 순위가 낮은 문서일수록 효과가 컸다

표 2는 구글 순위별로 노출 변화를 나눴습니다.

“the Cite Sources method led to a substantial 115.1% increase in visibility for websites ranked fifth in SERP, while on average, the visibility of the top-ranked website decreased by 30.3%.”

출처 인용을 적용했을 때 구글 5위 문서의 노출은 115.1% 늘었고, 1위 문서는 평균 30.3% 줄었다는 뜻입니다. 저자들은 이를 작은 사업자에게 기회가 될 수 있다고 해석했습니다. 다만 본문은 이 표를 “모든 출처를 동시에 최적화한” 평가로 설명하고 있어, 본 실험(문서 하나만 고침)과 조건이 다릅니다. 또 5위라도 이미 상위 5개 안에 든 문서라는 점은 그대로입니다. 6위 이하나 검색되지 않는 문서에 대한 결과는 없습니다.

분야마다 잘 듣는 기법이 달랐다

표 3은 기법별로 효과가 컸던 분류 상위 3개를 보여 줍니다.

“The method Quotation Addition is most effective in the ‘People & Society,’ ‘Explanation,’ and ‘History’ domains.”

인용구 추가는 사람·사회, 설명, 역사 분야에서 가장 효과적이었다는 문장입니다. 앞에서 본 것처럼 이 분류는 GPT-4가 붙인 태그라 잡음이 있을 수 있습니다. 음식점·병원·학원 같은 지역 업종은 표에 따로 나오지 않습니다.

기법을 섞으면

상위 4개 기법(출처 인용, 유창성 개선, 통계 추가, 인용구 추가)을 두 개씩 묶어 봤습니다.

“the best combination (Fluency Optimization and Statistics Addition) outperforming any single GEO strategy by more than 5.5%”

유창성 개선과 통계 추가의 조합이 어떤 단일 기법보다 5.5% 넘게 높았다는 뜻입니다. 각주에는 비용 때문에 테스트 세트 중 200개만으로 분석해 표 1과 숫자가 다르다고 적혀 있습니다.

실제 서비스(Perplexity)에서는

저자들은 같은 기법을 Perplexity.ai에서도 시험했습니다. 다만 방식이 일반적인 사용과 다릅니다.

“Since perplexity.ai does not allow the user to specify source URLs, we instead provide source text as file uploads to perplexity.ai while ensuring all answers are generated only using the file sources provided. We evaluate all our methods on a subset of 200 samples of our test set.”

Perplexity가 출처 URL을 지정하게 해 주지 않아, 문서 텍스트를 파일로 올리고 그 파일만으로 답하게 했다는 뜻입니다. 질문은 200개였습니다. 즉 Perplexity가 웹에서 직접 찾아 고르는 과정은 시험되지 않았습니다.

“The best performing methods improve upon baseline by 22% on Position-Adjusted Word Count and 37% on Subjective Impression.”

최고 기법이 위치 보정 단어 수에서 22%(인용구 추가), 주관적 노출에서 37%(통계 추가) 기준선을 넘었다는 뜻입니다. 키워드 반복은 본문 표현대로 위치 보정 단어 수에서 기준선보다 10% 낮았습니다.

표를 그대로 보면 논문 요약에 드러나지 않는 부분도 있습니다. 출처 인용은 위치 보정 단어 수는 올랐지만 주관적 노출은 19.0으로 기준선 24.7보다 낮았고, 키워드 반복은 반대로 주관적 노출이 기준선보다 높았습니다. 엔진과 지표가 바뀌면 같은 기법의 결과도 달라질 수 있다는 뜻으로 읽는 것이 맞습니다.

저자들이 직접 밝힌 한계

“owing to the black-box nature of search engine algorithms, we didn’t evaluate how GEO methods affect search rankings.”

검색엔진 알고리즘이 공개돼 있지 않아 GEO 기법이 검색 순위에 어떤 영향을 주는지는 평가하지 않았다는 문장입니다. 저자들은 그 밖에도 생성형 엔진이 바뀌면 방법도 바뀌어야 할 수 있고, 실제 질문의 성격도 시간이 지나면 달라진다고 적었습니다.

논문을 읽으며 정리한 조건을 함께 두면 이렇습니다.

이 논문 이후 나온 연구들, 특히 “후보에 드는 단계”를 다룬 연구는 GEO 논문 12편 정리에 모아 두었습니다.

한국 작은 가게 사이트에 옮기면

옮길 수 있는 것

• 확인 가능한 숫자를 쓴다. 통계 추가가 꾸준히 효과가 있었습니다. 가게라면 가격, 영업시간, 좌석 수, 운영 기간처럼 사실이고 확인할 수 있는 숫자가 해당합니다. 논문은 LLM이 숫자를 넣게 했지만, 실제 사이트에서 근거 없는 숫자를 만들어 넣는 것은 하지 않습니다.
• 출처를 밝히고 인용할 수 있는 문장을 둔다. 인용구 추가와 출처 인용이 상위권이었습니다. 수상 기록, 언론 보도, 인증 같은 내용이 있다면 출처와 함께 적습니다.
• 문장을 읽기 쉽게 다듬는다. 유창성 개선만으로도 효과가 있었습니다.
• 키워드를 반복하지 않는다. 두 엔진 모두에서 위치 보정 단어 수가 기준선보다 낮았습니다.

옮길 수 없는 것

• “이렇게 쓰면 AI에 나온다”는 보장. 논문은 이미 후보 5개 안에 든 문서의 몫을 쟀을 뿐이고, 검색 순위 영향은 평가하지 않았다고 직접 밝혔습니다.
• 한국어·ChatGPT·네이버에서도 같은 숫자가 나온다는 기대. 실험은 영어 질의와 GPT-3.5, 파일을 올린 Perplexity로 했습니다.
• “최대 40%”를 방문자나 매출 증가로 읽는 것. 지표는 답변 안에서 차지한 글의 몫입니다.

그래서 순서는 “먼저 읽힐 문서가 있어야 한다”

이 논문의 전제를 거꾸로 읽으면, 문서를 다듬는 일은 AI가 그 문서를 이미 후보로 가져올 때에만 의미가 있습니다. 홈페이지가 없으면 다듬을 대상도 없습니다. 이 사이트의 관측도 같은 방향을 가리키지만, 모두 하루에 한두 번 물어본 단일 관측입니다.

이 관측은 홈페이지 공개와 인용이 시간상 이어졌다는 것까지만 보여 줍니다. 무엇이 원인이었는지는 이 정도 반복으로 가릴 수 없습니다. 실제 작업 순서는 AI 상위노출 정리와 작업 과정에, 용어 구분은 SEO·AEO·GEO·LLMO 차이에, 직접 확인하는 방법은 AI 답변에 우리 가게가 나오는지 확인하는 법에 있습니다.

이 글을 쓴 사람

AI 상위노출 일을 하는 유환호가 썼습니다. 위 표의 사이트들은 그가 작업에 참여한 곳이라 이해관계가 있습니다. 논문 내용은 arXiv v3 본문에서 확인한 것만 옮겼고, 표의 “변화” 비율은 논문 표의 절대값으로 직접 계산했습니다.