측정 시작 전에만 고칠 수 있는 것이 있다

무엇을 고쳤나

AI 답변 인용률을 재는 측정 단위(질문 수 × 답변엔진 수)를 설계하면서, 답변엔진 목록에 들어 있던 이름 하나를 제외했다. 그 이름은 다른 서비스의 검색 기능이 새 이름으로 흡수되며 사실상 폐기된 명칭이었다. 목록에 그대로 두면 하나의 서비스를 두 개의 다른 이름으로 중복해서 세는 셈이었다.

왜 이 시점이 아니면 못 하는 결정이었나

이 측정은 “질문 수 × 답변엔진 수”를 분모로 삼아 인용률을 계산하는 방식이다. 답변엔진 하나를 빼거나 더하면 분모 자체가 바뀐다. 만약 실측 데이터가 이미 몇 칸이라도 채워진 뒤에 분모를 바꾸면, 그 이전 수치와 이후 수치는 같은 기준으로 비교할 수 없게 된다 — 측정값이 개선된 것인지 분모가 바뀐 것인지 구분이 안 되기 때문이다.

이 정정을 했던 시점은 기준선 측정에 착수하기 전, 즉 첫 셀이 채워지기 전이었다. 그래서 “지금 고치면 나중에 비교가 깨진다”는 문제가 발생하지 않았다.

이 사건에서 세운 규칙

측정 단위(분모)는 첫 데이터가 들어가기 전까지만 고칠 수 있다는 규칙을 그 뒤로 지키고 있다. 다시 재고 싶은 항목이 생기면 기존 측정 단위를 건드리지 않고 별도의 새 측정으로 시작한다. 측정 조건이 도중에 바뀌면, 그 이후의 모든 숫자가 무엇과 비교 가능한지 아무도 확신할 수 없게 되기 때문이다.