핵심 요약
- 기업들은 초기 ‘토큰 맥싱’ 전략으로 직원들에게 AI 사용을 대폭 허용했으나, 예상치 못한 기하급수적 비용 증가와 예산 조기 소진 문제를 겪으며 가성비와 성과 중심의 ‘밸류 맥싱’으로 전환하고 있다.
- 초기 RAG(검색증강생성) 기술의 한계와 환각 현상으로 실망했던 기업들이 최근에는 사내 데이터와 공공 데이터를 직접 조회하는 MCP(모델 컨텍스트 프로토콜)와 에이전트 워크플로우를 결합하여 실무 활용도를 높이고 있다.
- 에이전트가 복잡한 업무를 처리할 때 발생하는 토큰 낭비와 일관성 저하 문제를 해결하기 위해, 기업들은 경량 LLM이나 결정론적 파이썬 프로그램을 활용해 사전에 워크플로우를 짜게 한 뒤 플래그십 모델에 전달하는 방식으로 효율성을 극대화하고 있다.
주요 내용
- 토큰 맥싱에서 밸류 맥싱으로의 전환
- 도입 초기 6개월간 기업들은 직원들에게 AI를 마음껏 쓰게 하는 ‘토큰 맥싱’을 장려했으나, 전체 기업의 73%가 예산을 조기 소진하는 등의 비용 문제에 직면함.
- 단순 사용량 늘리기를 넘어 실제 업무 생산성과 비용 대비 효과를 따지는 ‘밸류 맥싱’ 시대로 진입함.
- 사내 데이터 연동과 MCP(Model Context Protocol)의 활용
- 기업들은 단순히 챗봇으로 질문하는 것을 넘어, 법제처, 다트(DART), 사내 ERP, 그룹웨어 등 외부 및 사내 데이터와 연결된 MCP를 활용해 실질적인 업무 자동화를 시도하고 있음.
- 과거 1세대 AX에서 주로 쓰인 RAG 기술은 청킹과 유사도 기반 생성으로 인해 정확도가 떨어져 실망감을 주었으나, 현재는 MCP를 통한 직접 DB 쿼리 방식으로 정확도가 크게 향상됨.
- 에이전트 워크플로우의 한계 극복 (토큰 낭비 및 일관성 문제)
- 에이전트에게 자율적인 의사 결정을 맡기면 매번 과정과 결과가 달라지고 토큰 낭비가 심해지는 문제가 발생함.
- 이를 해결하기 위해 경량 LLM(Language Model)이나 결정론적 파이썬 프로그램을 이용해 먼저 업무의 워크플로우(순서)를 짠 뒤, 플래그십 LLM에 전달하여 일관성 있는 결과와 비용 절감을 동시에 달성하고 있음.
타임스탬프별 핵심 포인트
| 시간 | 핵심 내용 | |—|—| | 00:00 | 기업 AI(AX)의 패러다임 변화: 양적 도입(토큰 맥싱)에서 ROI 제고 및 가치 창출(밸류 맥싱)로 진화 | | 01:17 | 도입 초기 기업들의 관대한 사용 허용과 그에 따른 토큰 사용량 폭증 (2년간 22배 증가) | | 04:36 | 에이전트가 복잡한 도구를 사용하며 발생하는 입력 토큰 증가 및 비용 부담 (전체 기업의 73%가 예산 조기/초과 소진) | | 08:31 | 사내 ERP, 그룹웨어, 공공 데이터 등과 연동된 MCP를 활용한 에이전트 기반 업무 자동화 사례 | | 10:46 | 에이전트의 일관성 부족과 토큰 낭비 문제를 해결하기 위한 ‘경량 LLM을 통한 워크플로우 사전 생성’ 기법 | | 13:58 | 과거 레그(RAG) 기술의 한계와 실망을 넘어, 현재 MCP와 고성능 LLM을 결합한 본격적인 사내 AI 활용 시대 도래 |
결론 및 시사점
- 기업의 AX(AI 전환)는 단순히 무제한으로 AI를 사용하게 하는 양적 확대 단계를 지나, 실질적인 업무 프로세스 개선과 비용 효율성을 따지는 질적 성장의 초입에 들어섰다.
- 과거 레그(RAG) 기술의 한계로 생성형 AI에 실망했던 기업들도 사내 데이터와 직접 연동되는 MCP와 에이전트 워크플로우 구조를 통해 실질적인 업무 가치를 창출하고 있다.
- 따라서 향후 기업의 AI 도입 성패는 무작정 토큰을 소모하는 것이 아니라, 경량 모델과 에이전트 오케스트레이션을 결합해 비용을 아끼면서도 일관성 있는 결과를 도출하는 시스템 설계 역량에 달려 있다.
추가 학습 키워드
- 밸류 맥싱 (Value Maximization)
- 모델 컨텍스트 프로토콜 (MCP, Model Context Protocol)
- RAG (Retrieval-Augmented Generation)의 한계와 발전
- 에이전트 오케스트레이션 및 워크플로우 자동화
- LLM 토큰 경제학 및 비용 효율화 전략
기본 정보
| 항목 | 내용 | |—|—| | 채널 | 티타임즈TV | | 카테고리 | 경제 | | 게시일 | 2026-08-11 | | 영상 길이 | 24:33 | | 처리 엔진 | gemini-3.5-flash-lite+transcript | | 원본 영상 | YouTube에서 보기 |