Career SSOT는 경험 메모나 이력서 PDF로 자기소개서 초안을 만들고, 이력서와 경력기술서 피드백을 제공하는 커리어 관리 플랫폼입니다. 자기소개서 작성과 이력서 첨삭에 같은 모델을 쓰던 방식에서 벗어나, 기능마다 사용자 반응과 호출 비용을 따로 비교해 각 기능에 맞는 모델 세팅을 고르는 방식으로 바꿨습니다. ABTO로 기존 세팅과 새 세팅을 비교한 Career SSOT는 모델 비용 28% 감소와 재방문율 12% 증가를 확인했습니다. 어떤 고민에서 시작했고, 무엇을 기준으로 변화를 확인했는지, 아직 풀지 못한 것은 무엇인지 질문과 답변으로 정리했습니다.
기존에는 AI 모델을 선택함에 있어 어떤 어려움이 있었나요?
자기소개서 초안 작성과 이력서 첨삭은 같은 AI 기능처럼 보이지만, 모델에게 요구하는 일이 꽤 다릅니다. 자기소개서 초안은 사용자의 경험을 문항에 맞게 연결하고, 최대 글자 수의 95~100%에 맞춰 긴 답변을 써야 합니다. 반면 이력서 첨삭은 이미 쓰인 문서를 읽고 부족한 설명과 고칠 문장을 짚어주는 일에 가깝습니다.
모델을 비교해 보지 않았던 것은 아닙니다. 같은 작업을 Claude 계열과 GPT 계열 등 서로 다른 모델로 실행해볼 수 있는 기능을 직접 만들어 썼고, 실행 기록에는 모델별 응답 시간과 입출력 토큰, 사용량이 남았습니다. 해보니 모델 이름만 바꾼다고 비교가 끝나지 않았습니다. 같은 모델도 추론 설정에 따라 기다리는 시간이 달라져서, 모델과 설정을 한 묶음으로 놓고 봐야 했습니다.
그렇다고 속도나 토큰 사용량이 판단 기준이 되지는 않았습니다. 중요한 건 결과물이 서비스의 품질 기준을 넘는지였습니다. 문항이 요구하는 분량을 채우는지, 원문에 없는 성과나 경력을 만들어내지 않는지, 질문 의도에 맞게 답하는지를 봤습니다.
막힌 지점은 그다음이었습니다. 모델별 실행 기록은 쌓이고 있었고, 사용자가 결과를 복사하거나 고치는 행동도 서비스 쪽에서 따로 남기고 있었습니다. 그런데 두 기록을 이을 방법이 없었습니다. 사용자가 가져간 초안이 어느 모델에서 나왔는지 맞춰볼 수 없으니, 품질 걱정 때문에 성능이 좋다고 알려진 모델 하나를 두 기능에 그대로 쓰게 됐고, 사용자가 늘수록 모델 비용도 함께 늘었습니다.
그렇다면 어떤 기준으로 모델을 선택하기로 했나요?
기존 품질 기준은 그대로 두고, 그 옆에 결과를 받은 사용자가 다음에 어떤 행동을 하는지를 함께 놓기로 했습니다. 자기소개서 초안이라면 사용자가 답변을 그대로 쓰는지, 직접 고치거나 AI와 다시 다듬는지, 로그인해서 결과를 저장하는지를 봤습니다. 이력서 첨삭이라면 피드백을 받은 뒤 문서를 수정하는지, 다른 도구로 이어서 넘어가는지를 살펴봤습니다.
이때 초안이 생성된 것과 사용자가 그 초안을 쓴 것은 따로 셌습니다. 초안이 나왔다고 해서 사용자가 그 초안을 쓴 것은 아니기 때문입니다.
두 기능 모두에서 공통으로 가장 중요하게 본 지표는 결과 저장 비율이었습니다. 저장한 결과를 다시 꺼내 쓰러 돌아오는지를 보려고 재방문율도 함께 지켜봤습니다. 모델별 호출 비용과 사용자 행동을 따로 보면, 비용이 얼마인지는 알아도 그 모델의 결과가 저장으로 이어졌는지는 연결해서 보기 어렵습니다. 두 데이터를 함께 놓고, 어떤 세팅에서 어떤 행동이 나타나는지 비교하는 것이 이번 비교의 출발점이었습니다.
ABTO를 통해 두 세팅을 어떻게 비교했나요?
Career SSOT의 자기소개서 초안 기능과 이력서 첨삭 기능을 각각 ABTO에 연결했습니다. 기능마다 다른 제공자를 부르던 호출 경로를 공통 경로 하나로 모으는 일이 먼저였습니다. 모델을 호출하던 부분의 주소를 ABTO 게이트웨이로 바꾸는 방식이라 기능 코드를 크게 고치지는 않았지만, 연결하다 보니 문서나 텍스트 분석처럼 제공자 API로 바로 요청을 보내는 경로가 따로 있었습니다. 브라우저 행동만 연결하면 이 호출들은 비교에서 빠지기 때문에, 이 경로도 같은 흐름에 붙였습니다. 쓰던 모델과 지침, 근거 검토와 분량 조건은 바꾸지 않고 경로만 손봤습니다.
그다음 ABTO에서 Career SSOT의 성과 지표를 설정했습니다. 결과 저장 비율을 중심에 두고, 답변 수정 비율과 평균 호출당 비용을 함께 보도록 했습니다. 이후 기능마다 기존 세팅과 새로 비교해보고 싶었던 세팅을 나란히 두고, 같은 기능을 쓰는 사용자 트래픽을 나누어 비교했습니다.
새 세팅은 실제 사용자에게 어떻게 적용했나요?
처음부터 모든 사용자에게 적용하지는 않았습니다. 새 세팅은 0%에서 시작해 사용자 10%에게만 먼저 적용하고, 며칠 동안 에러율과 응답 속도, 성과 지표에 변화가 있는지 확인했습니다. 특히 자기소개서 초안은 답변이 길어서 응답 속도와 글자 수가 잘 맞는지를 먼저 살펴봤습니다.
운영상 문제가 없다는 것을 확인한 뒤에는 적용 비율을 단계적으로 높였습니다. 한 번에 바꾸지 않고 기능별로 조금씩 넓혀가니, 문제가 생기더라도 영향을 받는 사용자를 작게 유지할 수 있었습니다.
초기에는 데이터가 적어 결과가 자주 바뀌었기 때문에, 충분히 쌓일 때까지 기다리며 비교를 이어갔습니다.
비교 결과, 어떤 변화가 있었나요?
자기소개서 초안과 이력서 첨삭에 서로 다른 모델 세팅을 적용한 결과, 모델 비용은 28% 줄었고 재방문율은 12% 올랐습니다. 모든 기능에 가장 비싼 모델을 쓸 필요는 없었습니다.
비용 말고 달라진 점은 보는 방식입니다. 예전에는 모델별 실행 정보와 사용자 행동을 각각 다른 곳에서 열어봐야 했는데, 지금은 AI 작업 하나를 고르면 그 작업의 호출 기록과 사용자가 결과를 어떻게 썼는지가 함께 보입니다. 문항을 나눠 생성하거나 결과를 다듬는 호출도 같은 작업으로 묶여서, 초안을 한 번 만드는 비용만이 아니라 수정까지 포함한 전체 비용을 볼 수 있게 됐습니다.
이 글에서 수치로 밝히는 것은 모델 비용과 재방문율입니다. 결과 저장 비율과 답변 수정 비율은 세팅을 고를 때 함께 본 지표로, 수치는 싣지 않았습니다.
아직 풀지 못한 것은 무엇인가요?
모든 호출이 한 경로로 모인 것은 아닙니다. 요청 크기가 큰 경우나 이미 알고 있는 호환성 예외, 설정에 따라 다른 경로로 가는 호출은 아직 별도로 남아 있습니다. 이 호출들은 지금의 비교에 잡히지 않습니다.
이번 비교 이후, 모델을 선택하는 방식은 어떻게 달라졌나요?
서비스 전체에 하나의 모델을 정하는 대신, 기능마다 어떤 모델이 맞는지를 따로 판단하게 됐습니다. 좋다고 알려진 모델인지뿐 아니라, 그 기능을 쓴 사용자가 결과를 저장하는지, 그 결과를 얻는 데 얼마의 비용이 드는지를 함께 봅니다.
새 모델이 나오거나 프롬프트를 바꿀 때도 같은 방식으로 일부 사용자에게 먼저 적용해보고 있습니다. 저렴한 모델이 항상 낫다는 결론은 아닙니다. 모델을 바꿔보는 것만으로는 어떤 모델이 사용자에게 더 쓸모 있었는지 알기 어려웠고, 호출과 사용자 행동을 같은 작업으로 잇는 일이 먼저였습니다.
Career SSOT는 기능마다 확인할 사용자 행동을 정하고, 일부 사용자에게 새 세팅을 적용한 뒤, 데이터가 쌓이면 비용과 사용자 반응을 함께 비교했습니다. 여러 AI 기능에 같은 모델을 쓰고 있다면, 기능별로 확인할 사용자 행동부터 정해 보세요.
앱토(ABTO)는 비용과 사용자 반응을 한 화면에서 비교하는 AI 모델 A/B 테스트 도구입니다.
에이전트에 ABTO 스킬을 설치하고 /abto ABTO 연동해줘라고 요청하면 5분 안에 연동할 수 있습니다.
