AI 성과 분석 도구, LLM 관측 도구와 다른 점

AI 성과 분석 도구는 서비스의 AI 모델이나 프롬프트를 바꿨을 때 사용자 행동이 어떻게 달라졌는지를 AI 호출 비용과 함께 보여 주는 도구입니다. 여기서 말하는 성과는 결제율, 재방문율, 답변을 다시 생성한 비율처럼 서비스가 원래 보던 지표입니다. 벤치마크 점수는 후보를 추릴 때 참고로 씁니다.

이 이름으로 찾아보면 LLM 관측 도구와 A/B 테스트 도구가 함께 나옵니다. 겹치는 부분이 있지만 셋이 답하는 질문은 서로 다릅니다.

LLM 관측 도구는 무엇을 보여 주나요?

Langfuse, LangSmith, Braintrust 같은 관측 도구는 모델 호출을 하나하나 기록합니다. 어떤 프롬프트가 들어갔고 모델이 무엇을 답했는지, 몇 초가 걸렸고 토큰을 얼마나 썼는지를 트레이스로 남깁니다. 평가 데이터셋을 만들어 답변 품질에 점수를 매기는 기능도 있습니다.

응답이 왜 이상하게 나왔는지, 어느 단계에서 느려졌는지 찾을 때 쓰기 좋습니다. 반면 그 답변을 받은 사용자가 결제했는지, 다음 주에 다시 왔는지는 서비스 쪽 데이터라서 관측 도구 화면에 바로 나오지 않습니다.

A/B 테스트 도구와는 어떻게 다른가요?

핵클이나 Statsig 같은 A/B 테스트 도구는 화면이나 기능 단위로 사용자를 나누고 지표를 비교합니다. 사용자 행동을 본다는 점은 AI 성과 분석 도구와 같습니다.

차이는 모델 호출을 직접 다루는지에 있습니다. A/B 테스트 도구로 모델을 비교하려면 보통 그룹마다 다른 모델을 부르는 코드를 서비스 안에 넣고, 그룹별 AI 비용은 제공사 청구서와 따로 맞춰 봐야 합니다. AI 성과 분석 도구는 모델 호출이 거쳐 가는 게이트웨이에서 사용자를 나누기 때문에 호출 비용이 지표와 같은 화면에 잡힙니다.

한 표로 비교하면

앱토에서는 어떻게 보이나요?

앱토(ABTO)는 쓰던 OpenAI SDK의 base URL을 앱토 게이트웨이로 바꾸고 헤더 몇 개를 붙여 연결합니다. 기능마다 옵션을 최대 다섯 개까지 두고, 새 옵션은 비율 0에서 시작합니다. 기기 ID를 함께 보내면 한 사용자는 비율을 바꾸기 전까지 같은 모델을 받습니다.

서비스에서 결제나 재방문 같은 이벤트를 보내면 비교 화면에 옵션별 지표와 요청당 비용이 나란히 나옵니다. 판정은 신뢰 수준 95%의 순차 검정으로 개선 확정, 악화 확정, 판단 보류 가운데 하나를 표시합니다. 옵션마다 사용자 100명과 지표를 남긴 사용자 25명이 모이기 전에는 ’수집 중’으로 둡니다. 비율을 얼마나 옮길지는 결과를 본 사람이 정합니다.

앱토 팀이 직접 운영하는 논수리에서는 해설 기능에 더 저렴한 모델을 사용자 10%부터 붙여 비교했고, 비용은 41% 줄고 결제율은 18% 올랐습니다. 과정은 논수리 사례에 적었습니다.

어떤 팀에 맞나요?

AI 기능이 이미 사용자에게 나가 있고, 그 기능이 결제나 재방문과 이어진 팀이라면 바로 쓸 수 있습니다. 새 모델이 나올 때마다 바꿀지 고민하는 팀이나 AI 비용이 매출보다 빨리 느는 팀이 여기에 해당합니다.

아직 출시 전이라 사용자가 없다면 관측 도구와 평가 데이터셋으로 답변 품질부터 맞추는 편이 먼저입니다. 모델을 고르는 순서는 우리 서비스에 맞는 AI 모델 고르는 법에, 다른 도구와의 비교는 LLM A/B 테스트 도구 비교에 정리해 두었습니다.