오픈소스 LLM은 상용을 따라잡았나: 에이전트 개발자를 위한 모델 선택 가이드 (2026)
2026년, 오픈소스 모델이 여러 벤치마크에서 상용 최상위를 제쳤습니다. 그런데 벤치 점수에서 1등 하는 것과, 내 에이전트가 그 모델로 24개의 도구를 연쇄 호출하며 일을 끝까지 끝내는 것은 다른 문제입니다. 이 글은 '따라잡았나'라는 질문을 다섯 좌표로 분해합니다.
에이전트를 만드는 사람이라면 2026년에 한 번쯤 같은 헤드라인을 봤을 것입니다. "오픈소스가 상용을 따라잡았다." 어떤 벤치마크에서는 사실입니다. 어떤 작업에서는 아직 아닙니다. 그리고 "따라잡았다"는 말 자체가, 무엇을 시키느냐에 따라 답이 달라지는 질문을 한 문장으로 뭉개버립니다.
상용(닫힌) LLM은 모델 가중치를 공개하지 않고 API로만 빌려 쓰는 모델입니다(GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.8 등). 오픈소스(정확히는 오픈웨이트) LLM은 가중치를 공개해 누구나 내려받아 자기 환경에서 직접 구동하는 모델입니다(Llama 4, DeepSeek V4, Qwen 3.x, Mistral, Kimi 등). 어느 쪽이 정답인지는 모델의 우열이 아니라 규모·과금구조·품질 민감도·언어·데이터 거버넌스라는 다섯 좌표로 갈립니다.
이 글은 네 개의 질문을 순서대로 따라갑니다. 첫째, 지금 모델 지형은 어떻게 생겼나(1장). 둘째, 오픈소스는 "에이전트로 일을 시키는" 수준까지 왔나(2장). 셋째, 10배 싸다는데 갈아타면 진짜 얼마 아끼나(3장). 넷째, 그래서 무엇을 골라야 하나(4장). 결론을 먼저 말하면, 정답은 "최고 모델 하나"가 아니라 "당신의 좌표를 찍는 프레임"입니다.
1. 지금 LLM 지형은 어떻게 생겼나
벤치 1등 모델이 왜 내 에이전트의 긴 작업은 끝내지 못하는가. 그 이유를 풀려면 먼저 선택지가 어떻게 생겼는지부터 봐야 합니다. 이 장은 결론을 내리지 않고 지도를 그립니다. 두 진영의 차이를 이미 아는 분은 빠르게 훑어도 좋습니다. 어떤 모델들이 있고, 왜 두 진영으로 갈리며, 그 모델들이 애초에 어떻게 만들어지고 왜 공짜로 풀리는지를 봅니다.
핵심 긴장은 이것입니다. 땅은 둘로 갈렸습니다. 가중치를 잠근 닫힌 진영과, 가중치를 푼 열린 진영입니다. 2026년 들어 열린 진영이 영토를 크게 넓혔습니다. 단 "영토를 넓혔다"와 "당신의 일을 받아낸다"는 같은 말이 아닙니다. 이 차이가 글 전체를 관통합니다.
1.1 두 진영: 아이폰과 안드로이드
가장 쉬운 비유는 스마트폰입니다. 한쪽에는 아이폰이 있습니다. 완성도가 높고 매끄럽지만, 기기를 열어 마음대로 뜯어고칠 수 없고 제조사의 정책과 가격에 매여 있습니다. 다른 한쪽에는 안드로이드와 리눅스가 있습니다. 열려 있어서 내 손으로 뜯어고치고 내 서버에 올릴 수 있지만, 완성도와 일관성은 내가 책임져야 합니다.
LLM도 똑같이 갈립니다. 닫힌 진영은 모델 가중치를 공개하지 않고 API로만 빌려주는 쪽입니다. OpenAI의 GPT-5.5, Google의 Gemini 3.1 Pro, Anthropic의 Claude Opus 4.8이 여기 속하고, 그 위에 더 비싼 최상위 티어가 따로 있습니다. 열린 진영은 가중치를 공개해 누구나 내려받아 자기 환경에서 구동하게 하는 쪽입니다. Meta의 Llama 4, DeepSeek V4, Alibaba의 Qwen 3.x, 프랑스 Mistral, 중국 Moonshot의 Kimi가 대표 주자입니다.
흥미로운 건 Google이 양다리를 걸친다는 점입니다. 닫힌 Gemini를 API로 팔면서, 동시에 같은 연구 기반으로 만든 열린 Gemma 4를 가중치까지 공개합니다(Google). 여기에 NVIDIA(Nemotron), Microsoft(Phi), IBM(Granite), Cohere(Command A+), 비영리 AI2(OLMo)까지 열린 진영에 가세하면서, 2026년의 열린 진영은 한두 곳의 실험이 아니라 거대 기업들이 진지하게 경쟁하는 영토가 되었습니다.
Google은 닫힌 Gemini를 API로 팔면서 열린 Gemma를 가중치까지 공개합니다. 개념적 지형도. 출처: Google, 각 모델 공식 모델카드.
1.2 "오픈웨이트"는 "완전 오픈소스"가 아닙니다
여기서 용어 하나를 정확히 짚어야 합니다. 흔히 "오픈소스 모델"이라 부르지만, 대부분은 정확히 말하면 오픈웨이트(open weight)입니다. 학습이 끝난 모델의 가중치(파라미터)만 공개하고, 그 모델을 어떤 데이터로 어떤 코드로 학습시켰는지는 공개하지 않는다는 뜻입니다(promptengineering.org).
📌 가중치(weight)란 학습이 끝난 모델 안에 저장된 수십억에서 수조 개의 숫자를 말합니다. 이 숫자 뭉치만 있으면 모델을 돌릴 수 있습니다. 다만 그 숫자가 어떻게 만들어졌는지(학습 데이터·코드)는 별개의 공개 대상입니다.
이 구분이 왜 중요할까요. 가중치만 공개되면 내려받아 쓸 수는 있지만, 그 모델이 무엇을 학습했는지 검증하거나 똑같이 재현할 수는 없습니다. 통제·재현·투명성의 깊이가 다릅니다. Llama, Qwen, DeepSeek, Gemma, Mistral은 모두 학습 데이터를 공개하지 않으므로 엄밀히는 오픈웨이트입니다. 가중치에 더해 학습 데이터·코드·중간 체크포인트까지 전부 공개한 모델은 비영리 AI2의 OLMo 2 정도로 손에 꼽힙니다(AI2). 규제 산업이나 공급망 투명성이 필요한 환경에서는 이 차이가 결정적입니다.
좌에서 우로 갈수록 "열림의 깊이"가 깊어집니다. 흔히 말하는 "오픈소스"는 대부분 가운데(오픈웨이트)입니다. 출처: 오픈웨이트 vs 오픈소스 정의(OSI 기준).
1.3 모델은 어떻게 만들어지나
모델을 비교하려면 "단발 지능"과 "추론 능력"이 어디서 갈라지는지 알아야 하는데, 그 뿌리가 학습 단계에 있습니다.
모든 대형 모델은 두 단계로 만들어집니다. 먼저 사전학습입니다. 인터넷 규모의 텍스트에서 "다음 단어 맞히기"를 끝없이 반복하며 언어 패턴을 익히는 단계로, 학습 비용의 대부분이 여기서 발생합니다. 그다음 후학습입니다. 사람의 피드백(RLHF)이나 자동 채점 가능한 보상(RLVR)으로 모델을 지시 따르기·안전성·추론에 맞게 다듬는 단계입니다(adaline.ai).
2025년부터 2026년 사이의 가장 큰 변화는 추론(reasoning) 모델의 부상입니다. 일반 모델은 입력을 받으면 곧바로 답을 내놓습니다. 추론 모델은 답을 내기 전에 내부적으로 수백에서 수천 개의 "생각 토큰"을 생성하며 단계별로 문제를 풉니다. 학습 시점이 아니라 추론 시점에 연산을 더 쏟으면 어려운 문제 성능이 올라간다는 발상(test-time compute, 추론 시점 연산)이 핵심입니다. 2025년 1월 DeepSeek R1이 이 방식을 자동 채점 강화학습(RLVR)으로 구현하고 생각 과정까지 공개하면서, 추론 능력이 오픈 진영으로도 빠르게 퍼졌습니다. 이 "단발로 답하기"와 "단계를 밟아 끝까지 가기"의 구분이 2장의 핵심 복선입니다.
1.4 왜 공짜로 푸는가: 상품화냐 락인이냐
마지막 의문이 남습니다. 프런티어 모델 한 개를 학습시키는 데 GPT-4가 약 1억 달러, Gemini Ultra가 약 1.9억 달러로 추정됩니다(Stanford AI Index). 그런데 왜 그 결과물을 무료로 풀까요.
답은 진영마다 다릅니다. Meta는 모델을 파는 회사가 아니라 광고로 버는 회사입니다(연 매출 약 1,300억 달러 규모). Llama를 공개하면 경쟁사 API의 진입 장벽을 무력화하면서 동시에 자사 플랫폼의 AI 역량이 올라갑니다. DeepSeek는 중국 퀀트 헤지펀드가 출자한 팀이고, Alibaba의 Qwen은 클라우드 채택을 유도하며, Mistral은 유럽 AI 독립을 내세우고, Google의 Gemma는 생태계와 온디바이스 저변을 노립니다. 동기는 제각각이지만 결과는 같습니다. 공개가 전략이 될수록 모델은 상품(commodity)에 가까워지고, 상품이 될수록 그 모델을 쓰는 개발자의 협상력은 올라갑니다. 이 "상품화 대 락인"의 긴장은 4장에서 다시 닫습니다.
🎁 왜 거대한 비용을 들여 만든 모델을 공짜로 푸는가
Meta: 광고가 본업이라 경쟁 API의 진입 장벽을 무력화하면서 자사 플랫폼 AI 역량을 강화합니다.
DeepSeek: 퀀트 헤지펀드가 출자해, 글로벌 채택 후 API로 간접 수익화를 노립니다.
Alibaba(Qwen): 클라우드 채택을 유도합니다.
Mistral: 유럽 AI 독립을 내세우며 엔터프라이즈로 수익화합니다.
Google(Gemma): 생태계와 온디바이스 저변을 노립니다.
한 줄 결론: 공개는 전략이고, 모델이 상품이 될수록 쓰는 사람의 협상력이 올라갑니다.
결론: 땅은 닫힌 진영과 열린 진영으로 갈렸고, 2026년 열린 진영이 영토를 크게 넓혔습니다.
핵심 포인트 세 가지. ① 대부분은 "오픈웨이트"(가중치만 공개)이고, 완전 오픈소스는 OLMo 2 정도입니다. ② 추론 모델이라는 새 능력 축이 생겼습니다. ③ 공개는 전략이고, 상품화는 개발자의 협상력을 올립니다.
단 "영토를 넓혔다"와 "당신의 긴 작업을 받아낸다"는 다른 문제입니다. 2장에서 그 갭을 봅니다.
2. 오픈소스는 "에이전트로 일을 시키는" 수준까지 왔나
"따라잡았나"에 답하려면 먼저 무엇을 묻는지부터 쪼개야 합니다. 단발 지능과 단순 도구 호출에서는 오픈소스가 따라잡았거나 일부 앞섭니다. 그러나 도구를 수십 번 연쇄하며 긴 작업을 자율로 완수하는 능력에서는 아직 갭이 있습니다. 그리고 영어가 아니면, 또 못 쓰게 막힌 모델이면, 벤치 점수는 의미가 달라집니다. 이 장은 능력을 두 가지로 분리하고, 거대 모델과 소형 모델을 따로 본 뒤, 언어와 거버넌스라는 벤치 밖 변수까지 봅니다.
2.1 두 능력을 분리하세요
에이전트 개발자가 헷갈리면 안 되는 구분이 하나 있습니다. 단발 지능은 문제 하나를 받아 답 하나를 내거나, 도구를 한 번 호출하는 능력입니다. 에이전틱 능력은 도구를 수십 번 연쇄 호출하고, 긴 맥락을 잃지 않고, 중간에 실패하면 복구하면서 작업을 끝까지 완수하는 능력입니다. 에이전트를 만드는 사람이 실제로 의존하는 건 후자입니다. 그런데 헤드라인에 등장하는 "벤치 점수"는 대부분 전자에 가깝습니다.
이 구분을 놓치면 위험합니다. "벤치 1등이니까 내 에이전트도 잘 돌겠지"라고 생각했다가, 실제로는 도구를 다섯 번쯤 연쇄하는 지점에서 길을 잃고 무너지는 모델을 만나게 됩니다. 점수가 높았던 건 왼쪽 능력이고, 무너진 건 오른쪽 능력입니다.
문제 1개 → 답 1개
도구 1회 호출
짧은 맥락
예) 함수 호출 포맷 정확도, 단일 질의응답
도구 수십 번 연쇄
긴 맥락 유지
실패 시 복구
작업 끝까지 완수
예) 터미널에서 버그 수정·테스트·커밋까지
헤드라인의 "벤치 점수"는 대개 왼쪽을 잽니다. 에이전트가 의존하는 건 오른쪽입니다.
2.2 단발은 따라잡았습니다
도구를 한 번 정확히 호출하는 능력만 보면, 오픈 진영은 이미 정상권입니다. 버클리 함수 호출 리더보드(BFCL v3)에서는 GLM 4.5(76.7%)와 Qwen3 32B(75.7%) 같은 오픈웨이트 모델이 상위를 차지합니다(BFCL).
여기서 첫 번째 함정이 드러납니다. 같은 BFCL v3에서 한 상용 모델이 25.3%로 낮게 찍힌 사례가 있는데, 이건 도구를 잘못 골랐기 때문이 아니라 출력 형식이 채점기의 파싱 규칙과 어긋났기 때문입니다. 도구 선택과 내용은 맞는데 일부 응답의 포장이 규격과 달라 그 케이스들이 0점 처리되면서, 그 0점들이 평균에 섞여 점수가 깎인 것입니다. 벤치 점수와 실제 실력은 다를 수 있다는 첫 신호입니다.
출처: BFCL v3 (awesomeagents.ai / llm-stats, 조회 2026-06-16)
같은 벤치에서 한 상용 모델이 포맷 파싱 실패로 25.3%를 기록한 사례가 있습니다. 도구 선택 오류가 아니라 일부 응답의 채점 형식 불일치로 그 케이스들이 0점 처리되면서 평균이 깎인 것입니다.
2.3 거대 모델 트랙: 자율 완수는 아직 갭입니다
문제는 작업이 길어질 때입니다. 도구를 수십 번 연쇄하고 끝까지 완수하는 에이전틱 벤치에서는 격차가 다시 벌어집니다. 실제 GitHub 이슈를 패치하는 SWE-bench Verified에서 오픈웨이트 최상위는 DeepSeek V4 Pro의 80.6%인데, 상용 최상위는 약 95%입니다.
다만 이 95%는 일반 개발자가 바로 쓰기는 어려운 비공개·한정 공개 모델(Anthropic의 Mythos 5)의 점수이고, 누구나 API로 쓸 수 있는 공개 최상위(Claude Opus 4.8)는 약 89%로 그보다 낮습니다. 바꿔 말하면 '상용 최고'는 일반 개발자가 손에 넣기 어려운 모델일 수 있다는 뜻입니다. 정직하게 보면, 헤드라인이 비교하는 "상용 최고"가 정작 당신이 프로덕션에서 쓸 수 있는 모델이 아닐 수 있습니다.
다른 에이전틱 벤치도 패턴이 같습니다. 실제 터미널에서 작업을 완수하는 Terminal-Bench는 오픈 최상위(MiniMax M3) 66% 대 상용 최상위 88%(측정 버전이 달라 직접 비교에는 주의), 엔터프라이즈 도구 사용(tau-bench)은 오픈(Llama 4) 약 75% 대 상용 약 89%, 범용 멀티스텝(GAIA)은 오픈 약 40% 이하 대 상용 약 52%입니다(이하 상용 수치는 비공개 최상위 기준)(BenchLM).
출처: BenchLM (조회 2026-06-13). Terminal-Bench는 측정 버전이 달라 직접 비교에 주의.
작업이 길고 자율적일수록 격차가 벌어집니다. 닫힌 최상위는 비공개 Mythos 5 기준이고, 공개 접근 가능 최상위(Opus 4.8)는 그보다 낮습니다.
패턴이 분명합니다. 단발에 가까운 작업일수록 격차가 작고, 도구 연쇄가 길고 자율성이 클수록 격차가 벌어집니다. 한 가지 정직하게 덧붙이면, 엔터프라이즈 에이전트 시스템에서 "실험실 벤치"와 "실제 배포" 사이의 평균 갭이 약 37%라는 연구도 있습니다(Kili Technology). 즉 벤치의 절대 수치 자체도 실사용보다 후하게 나오는 경향이 있어서, 오픈이든 상용이든 점수를 그대로 믿으면 안 됩니다.
2.4 소형 효율 트랙: 크기 대비, 그리고 "작업 길이의 절벽"
거대 모델만 보면 그림의 절반만 보는 것입니다. 2026년의 진짜 이변은 작은 모델 쪽에서 일어났습니다.
Google Gemma 4 라인업을 보겠습니다. 같은 세대 안에서 크기를 키울수록 점수가 가파르게 오릅니다. MMLU-Pro(전문 지식)는 E4B(8B) 69.4%에서 12B 77.2%, 26B 82.6%, 31B 85.2%로, 대학원급 추론 GPQA는 58.6%에서 78.8%, 82.3%, 84.3%로 오릅니다(Artificial Analysis). 특히 Gemma 4 12B는 이전 세대 27B 모델을 GPQA에서 78.8% 대 42.4%로 압도합니다. 절반 이하 크기로 한 세대 전 두 배 모델을 이긴 것입니다. 26B 모델은 실제로는 4B만 켜는 MoE 구조(활성 파라미터 4B)로 31B에 근접하면서, 같은 작업에 경쟁 모델보다 토큰을 약 2.5배 적게 씁니다(출력 39M 대 98M).
📌 MoE(Mixture of Experts, 전문가 혼합)란 모델 안에 여러 "전문가" 블록을 두고, 토큰마다 그중 일부만 켜는 구조입니다. 전체 파라미터는 26B여도 매 토큰에 4B만 켜면(이를 "활성 4B", A4B라 표기) 그만큼 빠르고 싸집니다.
출처: Artificial Analysis / HuggingFace 모델카드 (조회 2026-06-16)
12B가 이전 세대 27B를 GPQA 78.8% 대 42.4%로 압도합니다. A4B는 활성 4B, 곧 MoE에서 매 토큰에 켜지는 파라미터 수입니다.
여기까지만 보면 "작은 모델로 충분하다"는 결론으로 달려가기 쉽습니다. 그런데 작업 길이를 축으로 놓고 보면 절벽이 나타납니다. AgentFloor라는 벤치마크는 에이전트 작업을 난이도 6단계(A0부터 E까지)로 나눠 측정합니다(arXiv:2605.00334). 단순 지시 따르기(A0)부터, 도구 연쇄(C), 제약 유지(D), 장기 계획(E)까지 단계가 올라갑니다.
결과가 날카롭습니다. Gemma 4 26B의 종합 완수율은 60.0%로 GPT-5의 59.6%와 사실상 동급입니다. 그러나 단계별로 뜯어보면, A0에서 100%로 시작한 완수율이 도구를 연쇄하기 시작하는 C티어에서 59%로 떨어지고, 장기 계획과 제약 유지를 동시에 요구하는 E티어에서는 0%가 됩니다. 논문 저자의 표현을 빌리면, 소형에서 중형 오픈웨이트 모델은 실제 에이전트 파이프라인을 지배하는 단기 구조화 도구 사용 작업에는 이미 충분합니다. 핵심은 그 뒤에 붙는 단서입니다. 길고 자율적인 작업으로 갈수록 절벽을 만납니다.
종합 점수는 비슷해도(Gemma 4 26B 60.0% 대 GPT-5 59.6%) 긴 작업에서 함께 무너집니다. 출처: AgentFloor(arXiv:2605.00334).
경쟁 소형 모델도 결은 비슷합니다. Microsoft Phi-4(14B)는 지식 밀도는 높지만 컨텍스트가 16K로 짧아 긴 작업에 불리하고, IBM Granite 4.1(8B)은 함수 호출(BFCL 68.3)에 특화돼 도구 작업에 강하며, NVIDIA Nemotron Nano는 처리량이 경쟁 모델 대비 약 3.3배 높습니다. 소형 모델의 질문은 "되느냐 안 되느냐"가 아니라 작업이 얼마나 긴가입니다.
2.5 언어라는 결정 변수
벤치마크 대부분은 영어입니다. 영어가 아닌 언어로 작업을 만든다면 점수도 비용도 다시 계산해야 합니다. 여기서는 한국어를 예로 보지만, 다른 비영어권도 결은 같습니다.
가장 의외의 사실은, 중국 오픈 모델이 한국어에서 한국산 모델과 대등하다는 점입니다. 한국어 지식 벤치마크 KMMLU에서 Qwen2.5 32B는 71.96, 한국 문화·언어 이해(HAE-RAE)에서는 95.30을 기록합니다. 한국 SKT의 A.X 4.0이 Qwen2.5를 베이스로 만들어졌다는 사실이 이를 상징적으로 보여줍니다(Kanana 보고서). KMMLU 기준으로 정리하면 상용 GPT-5.1이 83.65로 최상위, A.X 4.0이 78.3, EXAONE-3.5-32B가 70.90 수준입니다(Kanana 보고서).
다만 세 가지 단서가 붙습니다. 첫째, 한국어에서도 최상위 품질은 여전히 상용이 앞섭니다(GPT-5.1 83.65). 둘째, 존댓말 처리·번역투 여부 같은 정성 품질은 벤치 점수 바깥의 영역이라 점수만으로 판단할 수 없습니다. 셋째, 비영어는 누구에게나 비쌉니다. 모델은 문장을 토큰이라는 작은 조각으로 쪼개 처리하는데(이 쪼개는 도구를 토크나이저라 합니다), 한국어는 영어보다 잘게 쪼개져 같은 의미에 토큰이 약 2.36배 듭니다. 어떤 모델을 쓰든 한국어는 토큰 비용이 그만큼 더 나옵니다(CJK 토크나이저).
| 모델 | 진영 | 오픈여부 | KMMLU | HAE-RAE / CLIcK |
|---|---|---|---|---|
| GPT-5.1 medium | 미국 상용 | 닫힘 | 83.65 | 미측정 |
| A.X 4.0 | 한국(SKT) | 오픈웨이트 | 78.3 | CLIcK 83.5 |
| Qwen2.5 32B Instruct | 중국 | 오픈웨이트 | 71.96 | HAE-RAE 95.30 |
| EXAONE-3.5-32B | 한국(LG) | 오픈웨이트 | 70.90 | 미측정 |
최상위 품질은 상용이 앞서지만, 중국 오픈 모델이 한국산과 대등합니다. 단 측정 시점·스냅샷이 모델마다 다르고(Qwen2.5·EXAONE-3.5는 2025-02 기준), 존댓말·번역투 정성 품질은 벤치 밖이며, 한국어는 토큰이 영어 대비 약 2.36배 듭니다. 출처: Kanana 보고서 / digitalinasia (조회 2026-06-16).
2.6 데이터 거버넌스: 성능이 좋아도 못 쓰는 모델
마지막 변수는 기술 바깥에 있습니다. 성능이 아무리 좋아도 조직이 못 쓰게 막은 모델이면 선택지에서 제외됩니다. 한국에서는 일부 중국 오픈 모델이 정부 부처와 대기업에서 사용 차단·금지 대상입니다. DeepSeek는 외교부·국방부·과학기술정보통신부 등 여러 정부 기관이 접속을 차단했고, 카카오·현대자동차그룹·한국수력원자력 등 주요 민간 기업도 사용을 금지했습니다. 개인정보보호위원회는 사용자 동의 없이 프롬프트와 개인정보가 국외 서버로 전송된 사실을 확인하고 서비스 잠정 중단을 요구한 바 있습니다(theori.io).
벤치 점수에 없는 변수: 데이터 거버넌스
한국 정부 다수 부처와 주요 대기업이 일부 중국 오픈 모델(API 서비스)을 차단·금지했습니다. 개인정보 국외 전송과 보안 취약점이 사유입니다. 성능이 좋아도 조직이 못 쓰면 선택지에서 빠집니다.
단서: 이 규제는 주로 회사가 운영하는 API 서비스(데이터가 국외 서버로 가는 경우)를 겨냥합니다. 같은 모델이라도 가중치를 내려받아 자체 서버에서 로컬로 구동하면 데이터 전송 구조가 달라지므로 평가가 갈릴 수 있습니다.
한 가지 정확히 구분할 점은, 이 규제가 주로 회사가 운영하는 API 서비스를 겨냥한다는 것입니다. 그럼에도 거버넌스는 "벤치 점수에 안 잡히지만 선택을 좌우하는" 변수라는 점이 핵심입니다.
결론: 단발 지능과 단순 도구 호출, 한국어 지식 벤치에서는 오픈이 따라잡았습니다. 그러나 긴 자율 완수, 최상위 정성 품질, 그리고 거버넌스에서는 갭이 남습니다.
핵심 포인트 세 가지. ① 벤치 점수는 실력과 다릅니다(포맷 파싱 오류, 실험실과 배포 사이 약 37% 갭). ② 소형 모델의 질문은 "되냐"가 아니라 "작업이 얼마나 긴가"입니다. ③ 언어와 거버넌스는 점수 밖에서 선택을 가릅니다.
그렇다면 가격이 이 갭을 메워줄까요? 3장에서 봅니다.
3. 10배 싸다는데, 갈아타면 진짜 얼마 아끼나
가격은 모델 선택에서 가장 강력한 논거처럼 보입니다. 표면 토큰 단가는 오픈이 최대 약 1/34까지 쌉니다. 그러나 "싸다"는 누가·얼마나·어떤 조건에서 쓰느냐에 종속됩니다. 자율 완수 갭 때문에 같은 일에 토큰을 더 쓰면 단가 절감이 녹고, 자체 호스팅의 본전은 규모에서만 나옵니다. 한 단어 "싸다"가 세 가지 서로 다른 가격 구조와 세 가지 함정을 덮고 있습니다. 이 장은 그것을 풀어 봅니다.
3.1 가격에는 세 층위가 있습니다
LLM 가격은 셋으로 나뉩니다. 종량 API는 택시 같습니다. 쓴 만큼(토큰당) 냅니다. 구독은 정액 요금제 같습니다. 한도 안에서 정해진 금액만 냅니다. 자체 호스팅은 태양광 패널 같습니다. 초기 장비·운영에 돈이 들지만 그 뒤로는 쓸수록 단가가 떨어집니다. "오픈이 싸다"는 말은 보통 첫 번째(종량 API 단가)를 가리키지만, 실제 청구서를 결정하는 건 세 층위 중 어디에 있느냐입니다.
"싸다"는 어느 층위에 있느냐에 따라 전혀 다른 말이 됩니다.
3.2 표면 가격: 오픈이 쌉니다
종량 API 단가만 비교하면 오픈의 우위는 분명합니다. 출력 100만 토큰 기준으로 GPT-5.5가 $30, Claude Opus 4.8이 $25, Gemini 3.1 Pro가 $12인데, DeepSeek V4 Pro는 $0.87입니다(CostGoat). GPT-5.5 대비 최대 약 1/34 수준입니다.
이건 일시적 현상이 아니라 추세입니다. 동일 성능 기준으로 LLM 비용은 매년 약 10배씩, 3년에 약 1,000배 떨어진다는 분석이 있습니다(a16z LLMflation). Epoch AI 집계로는 벤치마크별 가격 하락률이 연 9배에서 900배에 이르고 중앙값이 연 50배입니다(Epoch AI). 오픈 진영의 저가 공세가 이 하락을 끌고 가는 한 축입니다.
출처: CostGoat (조회 2026-06-16). 동일 성능 기준 비용은 연 약 10배, 3년 약 1,000배 하락(a16z).
표면 단가만 보면 오픈이 최대 약 1/34입니다. DeepSeek(열림 색) 대 상용 3종(닫힘 색).
3.3 함정 1: 토큰 단가는 총비용이 아닙니다
표면 단가가 1/34여도 청구서가 1/34이 되지는 않습니다. 2장에서 본 자율 완수 갭 때문입니다. 같은 작업을 시켜도 완수율이 낮은 모델은 더 많은 토큰을 쓰고, 실패하면 재시도하고, 중간에 길을 잃으면 복구하느라 토큰을 더 태웁니다. 단가가 1/34이어도 가령 같은 일에 토큰을 3배 쓰고 재작업이 2배면, 절감 효과는 빠르게 녹습니다(이 배수는 구조를 보여주기 위한 예시입니다). 실제로 한 오픈 모델은 일상 코딩의 65% 작업은 전기값 수준 비용으로 처리하지만 단독 메인 모델로는 부족하다고 보고됩니다. 단가표가 아니라 작업당 총비용으로 봐야 하는 이유입니다.
💡 단가 1/34이 절감 1/34이 아닌 이유
표면 단가는 1/34입니다. 그러나 같은 작업에 토큰을 약 3배 쓰고 재작업이 약 2배면(예시), 실효 절감은 크게 줄어듭니다.
핵심: 비교 단위는 '토큰 단가'가 아니라 '작업 하나를 끝내는 데 드는 총비용'입니다.
3.4 함정 2: 정액과 종량은 위험 구조가 다릅니다
두 번째 함정은 과금 구조 자체입니다. 토큰 사용량이 폭증하는 작업(긴 에이전트 루프)은 정액 구독이 예측 가능성에서 유리합니다. 한도 안에서는 비용이 고정되기 때문입니다. 반면 오픈 모델은 대개 종량이라, 작업이 폭주하면 비용도 비례해 폭주합니다.
여기에 주시해야 할 변수가 있습니다. 상용 구독제가 정액에서 사용량제로 옮겨가는 중이라는 점입니다. GitHub Copilot은 2026년 6월 1일부터 사용량 기반 크레딧으로 전환했고, OpenAI Codex도 2026년 4월 2일부터 토큰 기반 크레딧으로 바뀌었습니다(Developers Digest). 코딩 에이전트 구독 자체는 여전히 폭넓습니다(Claude Code $20/100/200, Cursor $20~200, Copilot $10~100). 다만 "정액의 예측 가능성"이라는 상용의 장점이 약해지면, 오픈 종량과의 비교 구도가 달라집니다.
한도 내 비용 고정
토큰 폭증 작업에 예측 가능
단, 사용량제로 전환 중 (Copilot 6/1, Codex 4/2)
쓴 만큼 과금
소량엔 유리
폭주 작업엔 비용도 폭주
토큰이 폭증하는 작업일수록 '정액이냐 종량이냐'가 단가보다 중요합니다.
3.5 함정 3: 자체 호스팅에 꼭 비싼 GPU가 필요한가
대표적인 오해 하나를 풀겠습니다. "오픈 모델을 직접 돌리려면 비싼 GPU가 필요하다"는 생각인데, 정답은 모델 크기에 달렸다입니다.
작은 모델은 평범한 하드웨어로도 돌아갑니다. 1~8B 모델은 노트북 CPU로도 초당 10~18토큰이 나오고, 약 200달러짜리 중고 GPU 한 장이면 충분합니다. 13~34B 모델은 소비자용 RTX 4070~4080급에서 돌아갑니다. 70B 모델은 통합 메모리를 가진 맥(M4 Max 128GB, 약 1,999달러)에서 초당 18~28토큰으로 구동되지만, 일반 CPU로는 초당 1~3토큰 수준이라 사실상 불가합니다. 120B 이상이나 다수 사용자를 동시에 받아야 하면 멀티 GPU가 필요하고, 671B급 거대 모델은 H200 8장에 월 2만 달러를 넘깁니다(Spheron 치트시트, 로컬 하드웨어 가이드).
📌 양자화(quantization)란 모델 가중치의 정밀도를 낮춰(예: 16비트에서 4비트로) 메모리를 줄이는 기법입니다. 4비트 양자화는 메모리를 약 75% 줄여 70B 모델을 140GB에서 약 38GB로 낮추는 대신, 품질이 약 5% 손실됩니다. 이 5%는 짧은 도구 작업에서는 대개 무시할 만하지만, 긴 자율 작업에서는 오차가 누적될 수 있습니다.
그렇다면 프로덕션은 왜 여전히 GPU를 쓸까요. 두 가지 이유입니다. 첫째는 메모리 대역폭입니다. 토큰 생성은 매번 모델 전체를 메모리에서 읽어야 해서, 연산력보다 대역폭이 속도를 결정합니다(H100은 약 3,350GB/s, 일반 CPU는 약 200~300GB/s). 둘째는 동시 사용자입니다. 여러 사용자를 동시에 받으면 각자의 대화 기록(KV 캐시, 모델이 이미 처리한 토큰을 다시 계산하지 않으려고 메모리에 저장하는 중간 결과)이 메모리에 쌓여 GPU의 큰 메모리가 필요해집니다. 정리하면, 혼자 또는 소량이면 맥이나 노트북으로 중형까지 로컬 구동이 가능하고, 다수 사용자를 실시간으로 받아야 하면 GPU 클러스터가 본전을 넘깁니다.
혼자·소량이면 로컬로 충분하고, 다수·실시간이면 GPU 클러스터가 본전을 넘깁니다. 출처: Spheron / promptquorum (2026-06).
결론: 가격은 규모에 종속됩니다. 소규모에서는 절감이 작고(단가 우위가 총비용에서 녹음), 대량·실시간에서는 자체 호스팅이 본전을 넘깁니다.
핵심 포인트 세 가지. ① 단가 1/34은 절감 1/34이 아닙니다. ② 정액과 종량의 위험 구조가 단가보다 중요합니다(상용 정액제는 사용량제로 이동 중). ③ 자체 호스팅 비용은 "모델 크기"가 결정합니다.
가격 단독으로는 결정이 안 됩니다. 모든 좌표를 묶어야 합니다. 4장에서 묶습니다.
4. 그래서 무엇을 골라야 하나
앞의 세 장이 던진 조각들을 하나의 판단으로 묶을 차례입니다. 단일 정답은 없습니다. 모델 선택은 규모·과금구조·품질 민감도·언어·데이터 거버넌스라는 다섯 좌표 위에서 자기 위치를 찍는 의사결정입니다. 그리고 당장 갈아타지 않더라도, 갈아탈 만큼 좋고 싼 오픈이 옆에 있다는 사실 자체가 가장 큰 가치입니다. 이 장은 결론 장이지만, 그 결론은 "이 모델을 써라"가 아니라 "이 프레임으로 당신의 좌표를 찍어라"입니다.
4.1 단일 정답은 없습니다: 다섯 좌표
지금까지 본 변수들은 다섯 개의 축으로 정리됩니다. 모델을 고르기 전에 자기 프로젝트가 각 축의 어디에 있는지 먼저 찍어야 합니다.
4.2 의사결정 매트릭스
다섯 좌표의 조합에 따라 최적 선택이 갈립니다. 아래는 대표적인 네 가지 경우입니다. 정답이 아니라 출발점으로 보시기 바랍니다.
| 좌표 조합 | 최적 선택 | 근거 |
|---|---|---|
| 소규모 · 품질 민감 · 비영어 · 거버넌스 제약 | 상용 API·구독 (오픈은 보험으로 주시) | 절감은 작고, 완수율·언어 손실은 큼 |
| 대량 · 일정 트래픽 · 영어 · 품질 여유 | 오픈 최상위 자체 호스팅 또는 저가 API (DeepSeek V4·Qwen3급) | 토큰비가 큰 덩어리, 자체 호스팅 손익분기 도달 |
| 중간 규모 · 종량 폭증 우려 | 하이브리드: 오픈 저가(DeepSeek·Qwen) + 어려운 작업만 상용 폴백 | 단가와 완수율을 절충 |
| 소형·로컬·프라이버시 우선 + 짧은 도구 작업 | Gemma 4·Phi급 온디바이스·로컬 구동 | 데이터 외부 유출 없이 거의 공짜(단 긴 자율 작업은 한계) |
정답표가 아니라 출발점입니다. 자기 좌표를 먼저 찍고 이 표를 참고하세요.
표를 관통하는 패턴이 하나 있습니다. 오픈이 유리해지는 방향은 일관됩니다. 규모가 클수록, 영어일수록, 품질에 여유가 있을수록, 거버넌스 제약이 없을수록, 그리고 작업이 짧을수록 오픈 쪽으로 기웁니다. 반대로 갈수록 상용 쪽으로 기웁니다. 많은 경우 정답은 한쪽이 아니라 둘을 섞는 하이브리드입니다. 쉬운 작업은 오픈 저가 모델이 처리하고, 어려운 작업만 상용으로 넘기는 에스컬레이션 패턴이 실전에서 자주 보고됩니다. 라우팅은 보통 오픈 모델이 먼저 시도한 뒤 실패하거나 신뢰도가 낮을 때 상용으로 넘기거나, 작업 난이도를 미리 판별하는 분류기를 앞단에 두는 방식으로 구현합니다.
4.3 진짜 가치는 "보험"입니다
당장 갈아타지 않기로 결정하더라도, 이 비교가 무의미한 것은 아닙니다. 오히려 가장 큰 가치는 다른 데 있습니다. 갈아탈 만큼 좋고 싼 오픈 모델이 옆에 존재한다는 사실 자체가, 닫힌 진영의 가격과 정책을 견제하는 협상력이 됩니다. 1장에서 본 "상품화 대 락인"의 긴장이 여기서 닫힙니다. 모델이 상품에 가까워질수록, 그 모델을 쓰는 개발자는 한 공급자에 묶이지 않습니다. 오픈은 당장 쓰지 않아도 보험처럼 작동합니다.
💡 핵심: 오픈 모델의 진짜 가치는 "지금 당장 갈아타는 것"이 아니라 "갈아탈 수 있다는 사실"입니다. 충분히 좋고 싼 대안이 옆에 있으면, 한 공급자에 종속되지 않고 가격·정책 협상력을 갖게 됩니다. 오픈은 쓰지 않아도 보험입니다.
4.4 무엇을 추적할 것인가: 전환 트리거
좌표는 고정되어 있지 않습니다. 아래 네 가지가 움직이면 선택을 다시 계산해야 합니다.
① 오픈의 자율 완수 갭이 좁혀진다 (에이전틱 벤치 격차 축소)
② 데이터 거버넌스 제약이 완화된다 (규제 해제·로컬 구동 표준화)
③ 상용 정액제가 무너져 종량만 남는다 (예측 가능성 상실)
④ 상용 가격이 인상된다 (락인 비용 상승)
다섯 좌표는 시간에 따라 움직입니다. 이 네 신호를 주시하면 재계산 시점을 알 수 있습니다.
① 벤치 점수를 따라잡은 것과 내 에이전트가 일을 끝까지 완수하는 것은 다른 문제입니다.
② 모델 선택은 규모·과금구조·품질 민감도·언어·데이터 거버넌스의 다섯 좌표로 갈립니다.
③ 단가 1/34이 절감 1/34은 아닙니다. 비교 단위는 작업당 총비용입니다.
④ 오픈은 당장 안 써도 보험입니다. 갈아탈 수 있다는 사실이 협상력입니다.