LLM 기반 에이전트의 비용 제어 전략

LLM 기반 에이전트의 비용 제어 전략

ChatGPT API가 공개된 2023년 3월, 개발자들 사이에서 유행하던 농담이 있었다. "프로덕션에 올리기 전에 지갑을 꺼내라." 실제로 LLM API 비용이 예상을 수십 배 초과해 스타트업이 서비스를 닫은 사례가 속출했다. GPT-4 Turbo 기준 입력 1,000 토큰당 $0.01이라는 가격은 단순 챗봇엔 무해하지만, 에이전트처럼 수십 번의 도구 호출이 연쇄되는 구조에서는 단일 사용자 세션이 수백 원에서 수천 원에 달하는 비용을 순식간에 소모한다.

비용 폭발이 일어나는 구조적 원인

에이전트는 단순 LLM 호출과 근본적으로 다르다. 사용자의 요청을 분해하고, 도구를 선택하고, 실행 결과를 다시 컨텍스트에 넣어 다음 단계를 결정하는 루프 구조가 핵심이다. 문제는 이 루프가 돌아갈수록 컨텍스트 창이 누적된다는 점이다. 10번의 도구 호출이 일어났다면, 마지막 호출 시점에는 앞선 9번의 입출력이 모두 프롬프트에 포함된 채 전송된다. 선형이 아닌 이차 함수에 가까운 비용 증가 패턴이다.

여기에 "할루시네이션 재시도"가 더해진다. 에이전트가 잘못된 JSON을 출력하거나 존재하지 않는 함수를 호출하면, 오류 메시지를 다시 컨텍스트에 붙여 재시도한다. 2024년 Anthropic의 내부 벤치마크에 따르면, 복잡한 코딩 에이전트 태스크에서 재시도로 인한 토큰 낭비가 평균 23%에 달했다.

전략 1: 컨텍스트 압축과 요약 캐싱

가장 직접적인 대응은 컨텍스트를 지속적으로 압축하는 것이다. 에이전트 프레임워크 LangGraph는 이를 위해 "메모리 노드(memory node)"를 루프 중간에 삽입하는 패턴을 권장한다. 10회 도구 호출마다 이전 기록을 200토큰짜리 요약으로 치환하면, 이후 호출의 입력 토큰이 60~70% 감소한다는 실측 결과가 2025년 초 Hacker News에 공유돼 주목받았다.

Anthropic의 프롬프트 캐싱(Prompt Caching) 기능은 이 전략을 가속한다. 시스템 프롬프트처럼 반복 사용되는 고정 블록을 캐시로 등록하면, 캐시 히트 시 비용이 90% 감소한다. Claude API 기준 캐시 미스는 $3/MTok이지만 캐시 히트는 $0.30/MTok이다. 시스템 프롬프트가 2,000토큰이고 하루 1,000번 호출한다면, 캐싱만으로 월 수십만 원의 절감이 가능하다.

전략 2: 모델 라우팅과 역할 분리

"모든 하위 태스크에 GPT-4급 모델을 쓸 필요가 없다"는 인식이 2024년을 기점으로 업계 표준이 됐다. 오케스트레이터(전략 결정)에는 대형 모델을, 실행자(코드 실행·검색·포맷 변환)에는 소형 모델을 배치하는 이른바 "라우팅 아키텍처"가 대표적이다.

Cognition AI의 Devin이 공개된 2024년 3월, 개발팀은 GPT-4o와 GPT-3.5를 혼합해 비용을 60% 절감했다고 밝혔다. 비슷한 시기 Replit Agent 팀은 단순 완성 작업에 Claude Haiku를, 코드 리뷰·아키텍처 결정에 Claude Sonnet을 분리 사용하여 성능 저하 없이 비용을 절반으로 낮췄다.

모델 선택의 기준은 "이 태스크에서 틀리면 얼마나 비싼가?"다. 회복 불가능한 오류(데이터 삭제, 결제 처리)에는 비싼 모델을, 재시도가 저렴한 태스크(검색 쿼리 생성, 요약)에는 저렴한 모델을 쓰는 위험 가중 라우팅이 점점 정교해지고 있다.

전략 3: 도구 호출 횟수 제한과 얼리 스톱

에이전트에 하드 리밋을 거는 것은 가장 원시적이면서도 효과적인 방법이다. LangChain의 max_iterations, AutoGPT의 --max-loops 파라미터가 이에 해당한다. 그러나 단순 횟수 제한은 태스크 중간에 에이전트를 끊어버리는 부작용이 있어, 최근에는 "예산 토큰(budget token)" 방식이 주목받는다.

예산 토큰은 에이전트 루프 시작 시 가용 토큰 예산을 명시적으로 주입하는 기법이다. 예를 들어 시스템 프롬프트에 "이 태스크에 사용할 수 있는 API 호출은 최대 5회, 총 토큰 예산은 10,000"이라고 명시하면, 에이전트가 스스로 우선순위를 조정해 예산 내 완료를 시도한다. Anthropic의 2025년 3월 블로그 포스트에서 이 기법이 복잡한 연구 태스크에서 비용을 평균 31% 절감했다는 결과를 공개했다.

전략 4: 관찰성과 비용 알림

비용 폭발은 대부분 인지하지 못한 상태에서 일어난다. Langfuse, Helicone 같은 LLM 관찰성(Observability) 도구는 토큰 소비를 실시간 추적하고, 임계값 초과 시 알림을 보낸다. 2025년 현재 두 도구 모두 무료 티어에서 월 5만 건의 트레이스를 제공한다.

더 중요한 것은 비용 귀속(cost attribution)이다. 어떤 도구 호출, 어떤 에이전트 경로가 비용을 가장 많이 소모하는지를 파악해야 최적화 대상을 찾을 수 있다. OpenTelemetry 기반의 트레이싱을 에이전트 프레임워크에 붙이는 것이 현재 업계의 모범 관행으로 자리잡고 있다.

논쟁: 비용 절감이 성능 저하를 초래하는가

비용 제어 전략에는 명확한 트레이드오프가 존재한다. 컨텍스트를 압축할수록 에이전트가 이전 맥락을 잃고, 소형 모델을 쓸수록 추론 오류가 늘며, 루프 횟수를 제한할수록 복잡한 태스크는 미완성으로 끝난다.

2025년 Stanford HELM 벤치마크에서 "비용 제약 에이전트"는 제약 없는 에이전트 대비 성공률이 평균 18% 낮았다. 그러나 동시에, 비용 제약이 있는 에이전트가 "불필요한 도구 호출을 줄이고 더 직접적으로 해결하는 경향"을 보인다는 점도 관찰됐다. 제약이 효율을 낳는다는 역설이다.

결국 비용 제어는 기술 문제인 동시에 제품 설계 철학의 문제다. 어느 정도의 비용이 어느 정도의 성능을 보장하는지를 사용자와 명시적으로 협상하는 "비용-성능 계약(cost-performance SLA)"이 2026년 에이전트 제품의 핵심 경쟁 영역이 될 것이라는 전망이 나오는 이유다.