RAG 파이프라인 비용이 하루 20만 원을 찍었을 때 첫 번째 반응은 당연히 캐시였다. 같은 질문에 같은 문서 조합이면 LLM 호출을 또 할 이유가 없으니까.
당근 기술 블로그에 올라온 글 하나가 엔지니어들 사이에서 조용히 퍼졌다. "2조 토큰을 카테고리 분류에 쓰면서 알게 된 것들".
고객사 CS 분류기를 만들고 있었다. 카테고리 47개, 정확도 기준 92%.
API 비용 청구서를 보다가 자괴감이 든 적 있다면 LLM 라우팅이라는 개념을 한 번쯤은 접했을 거다. 간단한 질문은 싼 모델로 돌리고, 복잡한 건 비싼 모델로 보내면 비용이 절반 이하로 떨어진다는 이야기.
올해 1분기, 우리 팀은 RAG 파이프라인을 걷어내기로 했다. 이유는 단순했다.
GPT-4 API 인보이스가 월 1,800만 원을 찍었을 때, 팀 슬랙에 누군가 vLLM 벤치마크 링크를 올렸다. "Llama 70B, H100 한 장이면 초당 200 리퀘스트 가능.
EKS 청구서를 펼칠 때마다 같은 생각이 떠오른다. "Graviton으로 바꾸면 20~40% 아낀다는데, 왜 아직도 안 했지?
새벽 3시에 PagerDuty가 울렸다 — VPA가 메모리 recommendation을 올리면서 프로덕션 파드 3개를 동시에 recreate한 거다. Readiness probe 통과까지 12초.
내부 문서 검색 챗봇의 정확도가 70%에서 안 올라갔다. 임베딩도 바꿔보고 청킹 전략도 손봤는데, 진짜 병목은 다른 데 있었다 — 복합 질문에서 한 번의 검색으로 답이 안 나오는 구조적 한계.
우리 팀이 GPT-4 클래스 모델 하나로 모든 요청을 처리하던 시절이 있었다. "일단 잘 되니까"라는 이유로 고객 인사말 응답부터 복잡한 문서 분석까지 전부 같은 엔드포인트를 태웠다.
지난 3월, 우리 팀은 모든 API 요청을 Claude Sonnet 하나로 보내던 구조에서 하이브리드 분배 구조로 전환했다. 단순 분류, 키워드 추출, 포맷 변환 같은 요청은 Haiku급 소형 모델로, 복잡한 추론이 필요한 건만 프론티어 모델로 보내는 방식이다.
컨트롤 플레인 가격표만 보고 클라우드를 골랐다면 이미 늦었을 수 있다. 2026년 기준 EKS, GKE, AKS의 실제 청구서를 뜯어봤는데, 숫자가 직관과 많이 다르다.
API 토큰 비용이 월 2,200만 원을 넘기 시작하면 누구나 같은 생각을 한다. "이거 직접 돌리면 절반도 안 되지 않나?
시맨틱 캐시를 처음 붙였을 때 가장 먼저 한 일은 대시보드에 히트율 그래프를 올린 거였다. 첫 주 22%, 둘째 주 31%, 셋째 주 38%.
Datadog 청구서가 매달 올라가는데, 팀 미팅에서 나오는 대답은 늘 같다 — "로그 볼륨 줄여야죠." 틀린 말은 아닌데, 그게 전부는 아니다.
API 비용이 월 800만 원을 찍었을 때, 팀에서 가장 먼저 꺼낸 카드가 시맨틱 캐시였다. "비슷한 질문이면 캐시된 답을 돌려주면 되지 않냐"는 논리는 깔끔했다.