논수리 해설 모델을 바꿨더니 비용은 41% 줄고 결제율은 18% 올랐습니다
앱토 팀이 직접 운영하는 논수리에서 해설 기능에 더 저렴한 모델을 사용자 10%부터 붙이고, 일주일 넘게 결제율과 호출 비용을 함께 비교했습니다.
앱토 블로그
모델을 바꿔 본 기록과 가이드
찾으시는 글이 없습니다.
다른 검색어를 입력하거나 전체 글을 확인해 보세요.
가이드
- AI 성과 분석 도구, LLM 관측 도구와 다른 점AI 성과 분석 도구는 모델을 바꿨을 때 결제나 재방문 같은 사용자 행동이 어떻게 달라졌는지 AI 비용과 함께 보는 도구입니다. 호출 기록을 보는 관측 도구, 화면 단위로 사용자를 나누는 A/B 테스트 도구와 어디가 다른지 정리했습니다.
- LLM API 비용 줄이는 법같은 기능을 한 달에 10만 번 부를 때 모델만 바꿔도 비용이 $25에서 $2,500까지 벌어집니다. 비용이 큰 기능을 찾는 일부터 프롬프트 캐싱과 배치 API까지, 손대는 순서를 적었습니다.
- 우리 서비스에 맞는 AI 모델 고르는 법기능마다 기준 지표 하나를 정하고, 후보 모델 2~3개를 사용자 10%에게 먼저 붙여 1주일 이상 비교하는 순서를 적었습니다.
- AI 모델 성능 비교할 때 순위표 보는 법긴 문서 읽기 평가에서 정답률은 2.0%p 차이인데 가격은 40배 차이가 나는 모델이 있습니다. LMArena와 Artificial Analysis가 무엇을 재는지, 순위표 밖에서 무엇을 더 봐야 하는지 적었습니다.