우리 서비스에 맞는 AI 모델 고르는 법

새 모델이 나올 때마다 지금 쓰는 모델을 바꿔야 할지 고민하게 됩니다. 벤치마크 순위를 참고할 수는 있지만, 우리 서비스 사용자에게도 같은 결과가 나올지는 직접 비교해 봐야 압니다.

저희도 AI 서비스를 개발하면서 모델을 고를 때 참고할 수 있는 게 성능 점수뿐이라 곤란했던 적이 있습니다. 그때부터 정리해 온 방법을 순서대로 적었습니다.

기능마다 따로 정하기

같은 서비스 안에서도 기능에 따라 잘 맞는 모델이 갈리기도 합니다. 예를 들어 자기소개서 초안을 쓰는 기능과 이미 쓴 글을 첨삭하는 기능은 요구하는 게 다릅니다. 그래서 모델도 기능별로 따로 정하는 편이 좋습니다.

비교할 지표 정하기

모델을 비교하기 전에 그 기능에서 어떤 지표를 볼지 먼저 정합니다. 결제로 이어지는 기능이라면 결제율을, 자주 쓰는 기능이라면 재방문율을 보면 됩니다. 답변 품질이 중요하다면 사용자가 답변을 다시 생성한 비율이나 직접 수정한 비율도 좋은 기준이 됩니다.

기준이 되는 지표는 하나로 정해 두세요. 여러 지표를 한꺼번에 보면 결과가 애매할 때 원하는 쪽으로 해석하기 쉽습니다. 비용과 응답 속도는 기준 지표와 별도로 함께 확인합니다.

후보 모델 고르기

후보는 지금 쓰는 모델을 포함해서 2~3개면 충분합니다. 보통 지금 모델보다 저렴한 모델 하나와 성능이 더 높다고 알려진 모델 하나 정도를 넣습니다. 후보가 많으면 모델당 배정되는 사용자가 줄어서 결과를 내기까지 오래 걸립니다.

후보를 고를 때는 가격과 응답 속도를 보고, 기능에 필요한 입력 길이를 지원하는지도 확인합니다. 모델별 가격은 앱토 모델 비교표에 정리해 두었습니다.

일부 사용자에게 먼저 적용하기

후보 모델은 전체 사용자가 아니라 10% 정도에게만 먼저 적용합니다. 이때 한 사용자는 계속 같은 모델을 받도록 고정해야 합니다. 요청할 때마다 모델이 바뀌면 사용자 행동이 어느 모델 때문인지 구분할 수 없습니다.

문제가 생겼을 때 바로 원래 모델로 되돌릴 수 있게 준비해 두는 것도 필요합니다.

비교 기간과 결과 판단

처음 며칠은 수치 변동이 크고, 요일별로 사용 패턴도 다르기 때문에 최소 1주일은 지켜봅니다. 사용자가 적은 기능은 기간을 더 길게 잡고, 두 모델의 차이가 통계적으로 의미 있는 수준인지도 확인합니다.

성과가 비슷하다면 더 저렴한 모델로 옮기면 됩니다. 새 모델의 비율을 단계적으로 높이고 기존 모델은 0%까지 줄입니다. 비싼 모델의 성과가 더 좋다면 그 차이가 추가 비용에 비해 충분한지 판단해서 결정합니다.

앱토로 비교하는 방법

앱토(ABTO)는 기능별로 모델을 나눠 적용하고, 결제율이나 재방문율 같은 지표를 요청당 비용과 나란히 보여 줍니다. Claude Code나 Codex 같은 코딩 에이전트에 한 줄을 입력하면 5분 안에 연동되고, Free 요금제는 결제 수단 등록 없이 30일 동안 AI 호출 3만 건까지 무료입니다.