LLM API 비용 줄이는 법

LLM API 비용을 줄이는 방법은 여러 가지가 있지만, 어디서부터 손대느냐에 따라 들이는 시간이 꽤 달라집니다. 이 글은 기능별로 비용을 나눠 보는 것부터 시작해서 모델 교체, 프롬프트 정리, 프롬프트 캐싱, 배치 처리 순서로 정리했습니다.

가격은 2026년 10월 말 기준 OpenAI와 Anthropic 공식 문서에 나온 값입니다.

모델별 가격 차이

요청 1건에 입력 1,000토큰, 출력 300토큰을 쓰는 기능을 예로 들어 보겠습니다. 한 달에 10만 번 호출하면 입력은 1억 토큰, 출력은 3,000만 토큰입니다.

호출량이 같아도 GPT-6 Astra는 한 달에 $2,500, GPT-6 Luna는 $25입니다. 두 모델의 성능이 같다는 뜻은 아니지만, 이 기능에 Astra가 꼭 필요한지는 따져 볼 필요가 있습니다. 다른 모델 가격은 앱토 모델 비교표에 모아 두었습니다.

기능별로 비용 나눠 보기

OpenAI나 Anthropic 콘솔에는 모델별, API 키별 사용량이 나옵니다. 하지만 서비스 안의 어떤 기능이 그 비용을 썼는지는 따로 기록하지 않으면 알기 어렵습니다.

호출할 때 기능 이름을 함께 남겨 두면 됩니다. 사용한 모델과 입력, 출력 토큰 수가 같이 있으면 기능별 요청당 비용과 월 비용이 계산되고, 비용이 큰 기능부터 손을 대면 됩니다.

가벼운 기능에 더 싼 모델 써 보기

요약, 분류, 정보 추출처럼 답이 비교적 정해져 있는 기능은 더 싼 모델로 바꿔도 결과 차이가 크지 않은 경우가 많습니다. 하지만 실제로 그런지는 서비스마다 확인해 봐야 합니다.

처음부터 전체를 바꾸기보다는 사용자의 10% 정도에게만 새 모델을 적용해 봅니다. 같은 사용자에게는 계속 같은 모델이 나가도록 고정해야 결과가 섞이지 않습니다.

1주일 정도 지켜보면서 결제율이나 재방문율처럼 그 기능에서 중요한 지표를 기존 모델과 비교합니다. 차이가 없으면 비율을 늘리고, 지표가 떨어지면 원래 모델로 되돌립니다.

프롬프트 길이 줄이기

시스템 프롬프트는 요청할 때마다 입력 토큰으로 과금됩니다. 운영하면서 예시나 예외 처리 문장을 계속 추가하다 보면 프롬프트가 처음보다 훨씬 길어지기도 합니다. 지금은 쓰지 않는 예시나 중복된 지시를 정리하는 것만으로도 입력 토큰이 줄어듭니다.

출력 길이와 추론 강도

출력 토큰은 입력보다 단가가 높습니다. 위 표에서도 출력 단가가 입력의 5배입니다. 기능에 맞게 최대 출력 길이를 정해 두세요.

추론 모델을 쓰고 있다면 추론 강도 설정도 확인해 보세요. 모델이 답하기 전에 내부적으로 생성하는 추론 토큰도 출력 토큰으로 과금됩니다. 간단한 기능에 추론 강도를 높게 두면 답변 길이에 비해 비용이 크게 나옵니다.

프롬프트 캐싱

매 요청에 같은 시스템 프롬프트나 참고 문서가 반복해서 들어간다면 프롬프트 캐싱의 효과가 큽니다. GPT-6.1 Sol의 입력 단가는 100만 토큰당 $2인데, 캐시에서 읽는 입력은 $0.10입니다. Anthropic은 캐시에서 읽는 토큰을 기본 입력 단가의 10%로 받고, Claude Sonnet 5.5와 Opus 5.5는 5%로 받습니다.

캐시가 잘 적용되려면 고정된 내용은 프롬프트 앞쪽에, 요청마다 바뀌는 내용은 뒤쪽에 둡니다.

배치 API

리포트 생성이나 대량 분류처럼 바로 응답할 필요가 없는 작업은 배치 API로 보내는 편이 저렴합니다. OpenAI 배치 API는 일반 요청의 절반 가격이고, 결과는 24시간 안에 돌아옵니다.

비용을 줄인 뒤에 확인할 것

어떤 방법을 쓰든 비용을 줄인 다음에는 결제율이나 재방문율 같은 지표가 유지되는지 같이 봐야 합니다. 비용만 보고 바꾸면 매출이 줄어도 알아차리기 어렵습니다.

앱토(ABTO)는 이 과정을 서비스 안에서 진행하도록 만든 도구입니다. OpenAI SDK의 base URL을 앱토 게이트웨이로 바꾸고 헤더 몇 개를 추가하면 기능별 비용이 기록됩니다. 새 모델을 일부 사용자에게 먼저 적용해서 결제율과 요청당 비용을 함께 비교하는 것도 가능합니다. Free 요금제는 결제 수단 등록 없이 30일 동안 AI 호출 3만 건까지 쓸 수 있습니다.