핵심 요약
- AI 토큰 소비량은 에이전틱 AI(Multi-Agent)와 루프 엔지니어링의 도입으로 지수함수적(2026년 기준 6배 이상)으로 증가하고 있어 AI 및 반도체 수요 자체의 ‘피크아웃’은 존재하지 않는다.
- AI 모델 기업(OpenAI, 엔트로픽 등)은 높은 추론 한계비용을 극복하고 수익성을 확보하기 위해 단순 API 제공을 넘어 코딩·금융·법률 등 기업용 소프트웨어(ASaaS) 및 엔터프라이즈 시장으로 진출하고 있다.
- 반도체 시장의 가장 큰 단기적 위험은 메모리 공급 과잉이 아니라 미국 내 데이터센터 건설의 인력 부족(건설 병목)과 주민·정치권의 반대(정치적 병목)로 인한 데이터센터 가동 지연이다.
주요 내용
1. 반도체 피크아웃 논란과 AI 토큰 소비 트렌드
- 영업이익률의 한계 vs 토큰 소비의 급증: 메모리 반도체 기업들의 영업이익률(80~90%)과 현재 공장 가동률은 정점에 달했을 수 있으나, AI 토큰 소비량(수요)은 2025~2026년을 기점으로 폭발적으로 증가하고 있습니다.
- 에이전틱 AI(Agentic AI)의 등장: 단순 인간 중심 프롬프트 입력 시대에서 여러 AI 에이전트가 협업하는 에이전틱 AI로 전환되면서, 백단에서 소모되는 토큰량이 기존 대비 6배 이상 폭증했습니다.
2. 에이전틱 AI 작동 메커니즘과 반도체 인프라 영향
- 루프 엔지니어링 & 스테이트 트래킹(State Tracking): 작업 완벽성을 높이기 위해 AI가 스스로 계획-실행-검토-수정을 반복하며, CPU가 개별 에이전트의 진행 상황을 주기적으로 호출 및 관리합니다.
- NAND 플래시 및 SSD 수요 창출: 중간 상태 기록을 비싼 HBM 대신 NAND/SSD에 저장함에 따라 데이터센터 내 범용 D램 및 낸드 플래시 메모리 사용량이 급증합니다.
- 쿼리 팬아웃(Query Fan-out) & 앤서 퓨전: 단일 질문을 5~12개의 하위 질문으로 분개하여 탐색·합성하는 기술로 인해 사용자 1인의 단일 질문당 토큰 소모량이 대폭 늘어납니다.
3. AI 모델 기업들의 비즈니스 모델 전환 (ASaaS)
- 한계비용 제로의 불가능성: 기존 소프트웨어와 달리 AI는 사용량이 늘어날수록 추론 인프라 비용이 비례하여 증가(한계비용 발생)하므로 단순 월 구독료나 API 판매만으로는 상장 및 수익성 개선에 한계가 있습니다.
- 엔터프라이즈 SaaS 시장 침투: 엔트로픽과 OpenAI는 코딩(Claude Code, Codex), 금융, 법률(Legal) 등 B2B 전용 소프트웨어 서비스로 진출하여 SAP, 세일즈포스 등이 점유하던 전통 IT 소프트웨어 가치사슬을 직접 공략합니다.
- 가격 상한선과 모델 라우팅(Model Routing): OpenRouter 등 중개 플랫폼을 통한 중국산 고성능·저비용 모델의 대체재 등장으로 미국 AI 기업들의 API 가격 인상에 한계가 생겼으며, 기업들은 업무 특성에 따라 최적의 모델을 배분하는 ‘가치평가(Evaluation) 및 라우팅 역량’을 강화하고 있습니다.
4. AI 인프라 확장의 핵심 병목 요소 (건설 및 정치적 병목)
- 건설 병목(Labor Shortage): 데이터센터 동시 다발 건설로 미국 내 배관공·용접공 등 숙련 인력이 극심하게 부족하여 메타와 구글이 각각 1억 달러 이상을 건설 인력 양성에 투입할 정도로 심각합니다.
- 정치적 병목(NIMBY & 규제): 전력·용수 부족, 소음, 전기세 인상 우려로 미국 12개 이상 주에서 주민 반대 데모와 건설 유예 법안(예: 뉴욕주 1년 유예)이 통과되는 등 초당적 반대 여론이 확산되고 있습니다.
- 반도체 주가의 단기 리스크: 데이터센터 완공이 연기되면 하이퍼스케일러의 GPU/HBM 선주문 취소로 이어질 수 있어, 2027~2028년 메모리 반도체 기업의 매출 성장률 정체 리스크로 작용할 수 있습니다.
핵심 데이터 / 비교표
AI 토큰 소비 및 시장 변화 비교
| 구분 | 2024~2025년 (초기) | 2026년 이후 (현재/미래) | |—|—|—| | 주요 사용 주체 | 인간(Human Prompt) 중심 | 에이전틱 AI(Multi-Agent) 중심 | | 토큰 소모량 | 단일 질의응답 (상대적 적음) | 기하급수적 급증 (기존 대비 6배 이상) | | 필요 반도체 | GPU, HBM 중심 | GPU, HBM + CPU, 범용 D램, NAND 플래시, SSD | | B2B AI 도입 양상 | 파일럿 프로그램 (성공률 5% 미만) | 전사적 공식 업무 전면 도입 (삼성, SK 등) | | 주요 비즈니스 모델 | 단순 API / B2C 구독 서비스 | ASaaS (엔터프라이즈 SaaS 시장 직접 진출) |
타임스탬프별 핵심 포인트
| 시간 | 핵심 내용 |
|---|---|
| 01:30 | 반도체 피크아웃 vs 슈퍼사이클 논란 및 시장 현황 질문 |
| 02:20 | AI 매출 공식(토큰 소비량 × 토큰 가격)과 토큰 소모량의 지속적 증가 |
| 03:00 | 인간 소모량 대비 에이전틱 AI 토큰 소비량의 폭발적 증가 (6배 차이) |
| 04:05 | 토큰 생산에 필수적인 반도체 종류 확장 (GPU, HBM, D램, NAND 플래시) |
| 04:40 | 메모리 반도체 기업의 영업이익률 피크 한계와 설비 증설 시점 분석 |
| 07:35 | 2025년 이전 AX(AI 전환)의 95% 실패 원인 분석 |
| 08:42 | AI 활용 방식의 변화: 앤트로픽 FDE 도입 및 ‘쓰는 방법’의 개선 |
| 10:04 | 태스크 타임 호라이즌(지속 가동 시간)의 확장 (1시간 → 16시간) |
| 10:45 | 루프 엔지니어링과 스테이트 트래킹: NAND 플래시/SSD 수요 발생 메커니즘 |
| 13:25 | 국내 대기업(삼성전자, SK그룹)의 전사적 AI 본격 도입 시점 (2026~2027년) |
| 14:19 | ROT(Return on Tokens) 개념 도입 및 토큰 효율화 추세 |
| 17:31 | 쿼리 팬아웃(Query Fan-out)과 앤서 퓨전을 통한 B2C 토큰 소비량 증가 |
| 18:50 | GPU 진화에 따른 토큰 단가 하락과 토큰 사용량 폭증의 상관관계 |
| 20:08 | 사용자 지불 비용으로 막대한 인프라 비용 감당이 가능한가에 대한 질문 |
| 23:34 | OpenAI(B2C 중심)와 엔트로픽(B2B 중심)의 수익 구조 및 전략 차이 |
| 27:30 | OpenRouter 데이터: 미국 3사 AI 모델 점유율 하락(73% → 33%)과 중국 모델 부상 |
| 28:17 | 모델 라우팅(Model Routing)과 기업 내부 가치평가(Evaluation) 역량의 중요성 |
| 31:10 | AI 서비스 기업의 한계비용 문제와 전통 SaaS(SAP, 세일즈포스) 시장 침투 |
| 34:10 | 소프트웨어 마진 구조와 AI 인프라 한계비용(Marginal Cost)의 특성 |
| 37:30 | 사내 메신저(슬랙 등) 기반 기업용 AI 에이전트 통합 트렌드 (Claude Tag 사례) |
| 39:42 | 메타 Muse AI, Cursor AI 인수를 통해 본 강화학습(Reinforcement Learning) 데이터의 중요성 |
| 41:40 | AI 기업의 SaaS 시장(ASaaS) 진출이 가져올 IT 생태계 파장 |
| 45:30 | 2~3년 후 반도체/메모리 공급과잉 가능성에 대한 진단 |
| 48:18 | 첫 번째 병목: 미국 데이터센터 건설 인력(용접공·배관공) 부족 문제 |
| 49:16 | 두 번째 병목: 미국 각 주별 데이터센터 건설 반대 데모 및 정치적 규제 |
| 52:35 | 버니 샌더스, 도널드 트럼프, 샘 올트먼의 AI 이익 공유 및 여론 변화 |
| 54:50 | AI 경제 가치사슬(Chips → Infrastructure → Models → Applications) 종합 분석 및 결론 |
결론 및 시사점
- AI 소비량은 계속 성장합니다: 에이전틱 AI, 멀티 에이전트 시스템, 모델 라우팅 기술 발전으로 인해 개별 질의 및 업무당 소비되는 AI 토큰의 절대량은 폭발적으로 늘어나고 있습니다. 따라서 AI 반도체 및 메모리 수요 자체의 장기적 성장은 확실합니다.
- AI 기업의 생존법은 SaaS 시장 침투: 단순 API 판매나 저렴한 구독료만으로는 AI의 높은 추론 한계비용을 당해낼 수 없습니다. OpenAI, 앤트로픽 등 모델 기업들은 기존 SAP, 세일즈포스 등이 쥐고 있던 엔터프라이즈 B2B 소프트웨어 시장(ASaaS)을 적극 침투하여 수익성을 확보할 것입니다.
- 가장 큰 현실적 리스크는 ‘건설 및 정치’: AI 반도체 투자자 및 기업이 가장 유의해야 할 단기 리스크는 공급 과잉이 아닌 데이터센터 완공 지연입니다. 미국 현지의 용접·배관 인력 부족과 님비(NIMBY) 현상으로 인한 데이터센터 건설 지연이 발생할 경우, 하이퍼스케일러의 부품 주문 취소로 인해 반도체 기업 주가 및 실적이 일시적 타격을 입을 수 있습니다.
추가 학습 키워드
- 에이전틱 AI (Agentic AI)
- 루프 엔지니어링 (Loop Engineering) / 스테이트 트래킹 (State Tracking)
- 모델 라우팅 (Model Routing) & OpenRouter
- 쿼리 팬아웃 (Query Fan-out) & 앤서 퓨전 (Answer Fusion)
- ASaaS (Agent Software as a Service)
기본 정보
| 항목 | 내용 | |—|—| | 채널 | 티타임즈TV | | 카테고리 | 경제 | | 게시일 | 2026-07-29 | | 영상 길이 | 16:39 | | 처리 엔진 | gemini-3.6-flash | | 원본 영상 | YouTube에서 보기 |