논수리는 앱토 팀이 직접 운영하는 인문논술 해설 서비스입니다. 사용자가 논술 문제를 풀면 AI가 해설을 붙여 주는데, 이 해설 기능의 모델을 고르는 기준을 벤치마크 점수에서 사용자의 행동으로 바꿨습니다. 새 모델 세팅을 기존 세팅과 나란히 비교한 결과 모델 비용은 41% 줄었고 결제율은 18% 올랐습니다.

처음에는 모델을 어떻게 골랐나요?

성능이 좋다고 알려진 모델을 그대로 썼습니다. 참고할 수 있는 숫자가 코딩이나 수학 벤치마크뿐이었는데, 논술 해설을 읽는 사용자와는 거리가 먼 점수였습니다.

저희가 알고 싶었던 것은 해설을 읽은 사용자가 다음 문제를 푸는지, 결제까지 가는지였습니다. 모델 비용은 매달 늘었지만 그 돈이 결제로 이어지는지는 확인할 방법이 없었습니다.

무엇을 보고 고르기로 했나요?

재응시율, 결제율, 문제풀이율을 함께 보기로 했습니다. 벤치마크 점수는 후보를 고를 때 계속 참고했고, 마지막 판단만 사용자 행동으로 했습니다.

막혀 있던 지점은 기록이 따로 쌓인다는 것이었습니다. 호출 비용과 결제 기록이 다른 곳에 있어서, 어떤 모델의 해설을 본 사용자가 결제했는지 맞춰 볼 수 없었습니다.

이번 비교의 기준 지표는 결제율 하나로 정했습니다. 재응시율과 문제풀이율은 함께 지켜보기만 했습니다.

앱토에서는 어떻게 나눠 비교했나요?

논수리의 해설 기능을 앱토에 연결하고, 같은 기능을 쓰는 사용자를 둘로 나눴습니다. 한쪽은 기존 세팅을 그대로 쓰고, 다른 쪽은 GPT-6 Luna로 바꾼 새 세팅을 받았습니다.

성과 지표로는 결제 액션율, 채점 점수, 문제 풀이 뒤 추가 행동 비율, 평균 호출당 비용을 걸어 두었습니다.

새 세팅은 사용자들에게 어떻게 넓혔나요?

처음에는 사용자 10%에게만 새 세팅을 붙였습니다. 며칠 동안 에러율, 응답 속도, 성과 지표에 이상이 없는지 본 뒤 비율을 50%까지 천천히 올렸습니다. 조금씩 넓혔기 때문에 문제가 생겨도 영향을 받는 사용자를 적게 유지할 수 있었습니다.

처음 며칠은 데이터가 적어 결과가 자주 뒤집혔습니다. 숫자가 자리를 잡을 때까지 비교를 이어 갔습니다.

일주일 뒤 숫자는 어땠나요?

일주일 넘게 추적한 결과, 새 세팅에서 모델 비용은 41% 줄었고 결제율은 18% 올랐습니다. 해설을 끝까지 읽고 다음 문제로 넘어가는 사용자도 늘었습니다.

결제율이 더 높게 나온 쪽은 더 저렴한 모델이었습니다. 그래서 비용과 결제율이 한 번에 좋아졌습니다.

이 결과는 해설 기능 하나를 결제율 기준으로 본 것입니다. 함께 지켜본 재응시율 같은 지표의 수치는 싣지 않았습니다.

그 뒤로 모델은 어떻게 고르나요?

새 모델이 나오면 벤치마크로 후보를 고르고, 사용자 일부에게 먼저 붙여 결제율과 비용을 같이 봅니다. 다른 기능에서는 비싼 모델이 이길 수도 있어서, 기능마다 따로 확인합니다.

논수리에서 쓴 순서는 우리 서비스에 맞는 AI 모델 고르는 법에 정리해 두었습니다. 앱토(ABTO)는 AI 호출 비용과 사용자 반응을 기능마다 나란히 보여 주는 AI 성과 분석 도구입니다. 에이전트에 ABTO 스킬을 설치하고 /abto ABTO 연동해줘라고 요청하면 연동을 시작할 수 있습니다.