아레나 순위 보는 법: 1위가 내 업무에도 1위일까?
2026. 10. 4.
새 AI 모델이 나오면 아레나 리더보드부터 찾아보게 됩니다. 여러 모델을 한눈에 비교할 수 있어 편하지만, 순위가 높은 모델을 곧바로 “가장 똑똑한 모델”로 받아들이기 쉽습니다.그런데 아레나 점수는 정답 개수를 세어 만든 성적표가 아닙니다. Chatbot Arena 공식 논문을 보면 사용자는 같은 질문에 답한 두 익명 모델을 나란히 보고 더 마음에 드는 답변을 고릅니다. 이렇게 모인 쌍대 비교 결과를 Bradley-Terry 통계 모델로 집계해 상대적인 선호 점수를 만듭니다.아레나가 직접 측정하는 것은 결국 “이 답변이 다른 답변보다 선택됐는가”입니다. 사실이 정확한지, 계산이 맞는지, 코드가 실제로 실행되는지만 따로 채점하지는 않습니다. 정확성도 선택에 영향을 주지만 설명의 친절함, 답변 길이, 문장 ..
