공유 심층 분석

AI 추론 시장: 훈련의 10배 규모가 열린다

마지막 업데이트: 2026-05-09

식당이 아니라 수도꼭지다

ChatGPT에 질문을 던지면, 1~2초 안에 답이 옵니다. 그 찰나의 순간, 데이터센터 어딘가에서 GPU 수천 개가 전력을 소비하며 토큰을 생성하고 있습니다. 이것이 추론(Inference)입니다.

AI에는 두 가지 단계가 있습니다. 모델을 만드는 "훈련"과, 만들어진 모델을 사용하는 "추론"입니다. 이 둘의 관계를 가장 쉽게 이해하는 비유가 있습니다.

이 글의 핵심 질문은 이것입니다: "수도꼭지를 트는 사람이 매일 수억 명으로 늘어나면, 그 수도관은 얼마짜리 시장이 될까?"

같은 주제를 다른 각도에서 다룬 글이 있습니다. GPU 독점은 영원한가?가 "추론 시장에서 NVIDIA의 독점이 어떻게 변하는가"를 다뤘다면, 이 글은 추론 시장 자체의 크기, 비용 구조, 돈의 흐름을 분석합니다.

1. 추론이란 무엇인가: 토큰 경제의 탄생

추론 시장을 이해하려면 먼저 훈련과 추론이 근본적으로 다른 경제학을 따른다는 것을 이해해야 합니다.

1.1 훈련과 추론: 건설과 운영의 차이

훈련은 "건설"입니다. 발전소를 짓는 것과 같습니다. 수천 개의 GPU를 수개월간 가동하여 하나의 모델을 완성합니다. GPT-4의 훈련 비용은 약 $100M으로 추정됩니다. 비용이 크지만 1회성입니다.

추론은 "운영"입니다. 완성된 발전소에서 전기를 생산하여 가정에 공급하는 것과 같습니다. ChatGPT가 응답할 때마다, Claude가 코드를 작성할 때마다, Gemini가 이미지를 분석할 때마다 GPU가 돌아갑니다. 사용자가 늘수록, 질문이 복잡해질수록 비용이 비례하여 증가합니다.

핵심적인 차이는 반복성입니다. 훈련은 "다음에 어떤 모델을 만들지 모르는" 불확실한 작업입니다. 추론은 "이미 완성된 하나의 모델을 수억 번 반복 실행하는" 예측 가능한 작업입니다.

1.2 토큰의 가격: AI의 수도 요금

추론 시장의 핵심 단위는 $/token입니다. 수도 요금이 리터당 얼마인지로 결정되듯, AI 추론 비용은 토큰당 얼마인지로 결정됩니다. 현재 주요 모델의 출력 토큰 가격입니다:

출력(Output) 기준 $/1M tokens. 출처: OpenAI, Anthropic. Reasoning 모델(o3)은 내부 thinking 토큰이 포함되어 비용이 크게 높습니다.

1.3 왜 추론이 훈련의 10배가 되는가

구조적으로 추론이 훈련보다 큰 시장이 될 수밖에 없는 세 가지 이유가 있습니다.

모델 1개, 사용자 수십억 명

GPT-4를 훈련하는 데 약 $100M이 들었습니다. 하지만 이 모델이 매일 수억 건의 요청을 처리하며 발생하는 추론 비용은 일 수백만 달러, 연간 수십억 달러입니다. 훈련은 1번이지만, 추론은 수년간 계속됩니다.

Reasoning 모델이 토큰 소비를 10배로 늘렸다

2024년 말 등장한 Reasoning 모델(o1, o3)은 게임의 규칙을 바꿨습니다. 일반 LLM이 평균 500 토큰을 생성한다면, Reasoning 모델은 내부 thinking 단계에서 10,000+ 토큰을 소비합니다. OpenAI Enterprise 보고서: 조직당 reasoning token 소비가 전년 대비 320배 증가. (OpenAI)

에이전트 AI가 토큰 소비를 또 수십 배로 늘린다

AI 에이전트는 하나의 작업을 위해 10~50번의 LLM 호출을 수행합니다. SWE-bench 코딩 벤치마크: 에이전트 하나가 단일 작업에 1M~3.5M 토큰을 소비합니다. (MindStudio)

2. 시장 규모: 얼마나 큰 시장인가

추론 시장의 크기를 정량화합니다. 리서치 기관마다 정의 범위가 다르므로, 여러 소스를 교차 검증합니다.

2.1 AI 추론 시장 TAM: 복수 소스 교차 검증

TAM(총시장규모)이란

출처: MarketsandMarkets, Grand View, SkyQuest, Precedence

모든 소스가 공통으로 가리키는 방향: 연 17~27% 성장이 최소 2030년까지 지속됩니다.

2.2 훈련 vs 추론 비중: 2026년, 역전의 해

추론 시장에서 가장 중요한 사건은 2026년의 역전입니다.

출처: byteiota, Computerworld, McKinsey. 2026E/2028E는 복수 전망 종합.

클라우드 AI 인프라 추론 지출: 2025년 $9.2B → 2026년 $20.6B(+124%). (byteiota)

2.3 하이퍼스케일러 Capex: $700B의 향방

출처: Tom's Hardware, Futurum. GPT-4 출시 이후 Capex 4배 증가. (Epoch AI)

3. 비용 구조 해부: $/token은 어떻게 결정되는가

"토큰 하나를 찍어내는 데 얼마가 드는가?" 이것이 추론 시장의 핵심 질문입니다.

3.1 비용의 5개 레이어

가장 큰 비중은 칩입니다. H100 한 대 $35K~$40K, B200은 $30K~$50K. 수백만 대를 구매하면 수천억 달러입니다. 두 번째는 전력. B200 TDP 1,000~1,200W. 수만 대를 24시간 가동하면 원전 1기 수준입니다.

3.2 세대별 $/token 하락: 무어의 법칙보다 빠르다

70B FP8 기준 $/1M tokens. 출처: SoftwareSeni, NVIDIA. Rubin: CES 2026 "시스템 10x" 기반.

a16z는 이 현상을 LLMflation이라 명명했습니다. GPT-3.5급 기준, 33개월 만에 280배 하락. 가격 반감기: 이코노미 티어 1.1년(무어의 법칙 18~24개월보다 빠름). (a16z, arXiv)

3.3 GPU vs ASIC: 누가 더 싸게 토큰을 찍는가

결론: 규모에 따라 달라집니다. ASIC 손익분기 18~24개월. (Introl) 상세: GPU 독점은 영원한가?

4. 추론 시장의 플레이어 지형

추론 시장은 4개의 레이어로 구성된 생태계입니다.

4.1 Layer 1~2: 칩과 서비스의 폭발적 성장

NVIDIA는 추론에서도 소프트웨어(NIM: 5분 내 배포, 2.4x 성능)로 방어합니다. B300은 리즈닝 모델 특화 설계입니다. AMD MI300X는 추론 처리량 21,028 tok/s로 H100과 동등하며, ROCm 7에서 추론 3.5x 개선을 달성했습니다.

추론 서비스 시장은 더 극적입니다:

출처: PYMNTS, SaaStr, Anthropic

4.2 Layer 3~4: 소프트웨어와 엣지

vLLM(GitHub 70K+ Stars)은 추론 서빙의 사실상 표준입니다. 양자화 기술(INT4)은 메모리 8x 절감 + 성능 98.1% 유지를 달성합니다. (VRLA Tech)

엣지 추론(온디바이스) 시장은 2025년 $25B → 2030년 $57~119B로 성장합니다. Apple M4(38 TOPS), Samsung Exynos 2500(59 TOPS)이 클라우드 추론 비용을 회피하는 대안을 제공합니다.

5. 세 가지 구조적 폭발 동인

추론 시장이 "훈련의 10배"가 되는 것은 단순히 사용자가 늘어서가 아닙니다. 세 가지 구조적 동인이 토큰 소비량 자체를 폭발시킵니다.

5.1 Reasoning 모델: 생각하는 AI는 10배 비싸다

OpenRouter 데이터: Reasoning 모델 토큰 점유율이 2025년 초 ~0% → 2025년 중반 50%+로 폭발적 채택. (OpenRouter)

5.2 에이전트 AI: 하나의 작업에 수십 번 호출

Claude Code 8개월 실사용: 총 100억 토큰, $15,000+. 전체 토큰의 80%가 "문제 탐색"에 소비되고, 실제 해결에 20%만 사용됩니다. IDC: Agentic AI가 2029년까지 IT 지출의 26% 차지, 에이전트 수 10배 증가 전망. (IDC Blog)

5.3 멀티모달: 이미지와 비디오가 텍스트의 수십 배

출처: Roboflow(Claude 기준), Gemini API(258 토큰/초)

Sora 사례가 극적입니다. 10초 클립 = ~$1.30, 일일 추론 비용 $1,500만. 비용을 감당하지 못해 2026년 3월 서비스를 종료했습니다. (Digital Applied) 이것은 비용을 낮추는 기술(효율적 칩, 양자화, ASIC)의 가치를 방증합니다.

6. 투자자를 위한 프레임워크

6.1 추론 시장 수혜 지형도

6.2 모니터링 지표 5가지

6.3 리스크 시나리오