AI 모델 성능을 비교할 때 많이 보는 곳이 LMArena나 Artificial Analysis 같은 순위표입니다. 어떤 모델이 위에 있는지 한눈에 볼 수 있어서 후보를 추릴 때 유용합니다. 다만 서비스에 넣을 모델을 정할 때는 순위표 외에도 확인해야 할 것들이 있습니다.

순위표의 종류

AI 모델 순위표는 측정 방식에 따라 크게 두 가지로 나뉩니다.

첫 번째는 정답이 있는 문제를 풀게 해서 점수를 매기는 벤치마크입니다. 코딩, 수학, 지식 문제 등에서 모델 성능을 비교할 때 쓰입니다. Artificial Analysis는 여러 벤치마크 점수와 함께 모델별 가격과 속도도 정리해서 보여 줍니다.

두 번째는 사용자가 두 모델의 답변을 비교해서 더 나은 쪽에 투표하는 방식으로, LMArena가 대표적입니다. 정답이 없는 대화형 질문에서 사람들이 어떤 답변을 더 선호하는지가 드러납니다.

순위표에 나오지 않는 것

두 방식 모두 일반적인 질문을 기준으로 측정합니다. 우리 서비스의 프롬프트나 사용자 질문에서도 같은 결과가 나온다는 보장은 없고, 답변을 본 사용자가 결제를 했는지, 다시 방문했는지도 순위표로는 알 수 없습니다.

가격도 함께 봐야 합니다. 비슷한 수준으로 평가받는 모델끼리도 가격 차이가 큰 경우가 많습니다. 예를 들어 OpenAI는 GPT-6.1 Sol이 에이전트 코딩 등 일부 작업에서 GPT-6 Astra에 가까운 성능을 보인다고 발표했는데, 입력 단가는 100만 토큰당 Sol이 $2, Astra가 $10으로 5배 차이가 납니다.

서비스에 쓸 모델 비교 순서

순위표를 참고해서 후보를 2~3개 정합니다.
후보 모델의 가격과 응답 속도를 비교합니다. 앱토 모델 비교표에서 40개 모델의 가격을 한 번에 볼 수 있습니다.
후보 모델을 일부 사용자에게만 적용하고, 결제율이나 재방문율 같은 지표를 요청당 비용과 함께 비교합니다.

성과가 비슷하면 더 저렴한 모델을 선택하고, 비싼 모델의 성과가 더 좋다면 그 차이가 가격 차이만큼의 가치가 있는지 판단합니다. 자세한 방법은 우리 서비스에 맞는 AI 모델 고르는 법에 정리해 두었습니다.

앱토(ABTO)는 이렇게 후보 모델을 실제 사용자에게 나눠 적용하고 성과와 비용을 비교하는 도구입니다. OpenAI SDK의 base URL을 바꾸고 헤더 몇 개를 추가하면 연동되며, Free 요금제로 결제 수단 등록 없이 30일 동안 AI 호출 3만 건까지 써 볼 수 있습니다.