AI기술

AI는 어떻게 스스로 똑똑해지는가 : 강화학습 4단계의 진화

마지막 업데이트: 2026-06-11

1장. 요즘 AI에서 강화학습은 어떤 역할인가

1.1. 왜 지금 강화학습인가

요즘 AI 뉴스를 보면 강화학습, RLHF, RLVR 같은 말이 부쩍 자주 들립니다. 우연이 아닙니다. AI 모델의 기본 성능이 빠르게 평준화되고 있기 때문입니다. 오픈소스로 공개된 모델들이 최상위 비공개 모델과 코딩·수학 시험에서 거의 동급에 오르고 있습니다. 불과 2~3년 전만 해도 "좋은 모델"은 소수만 가진 희소한 무기였는데, 지금은 그렇지 않습니다.

그러면 무엇이 차이를 만들까요. 답은 모델을 처음 만드는 단계가 아니라, 만든 뒤에 다듬는 단계에 있습니다. 모델을 처음 빚는 과정을 사전학습(pre-training, 인터넷의 방대한 텍스트를 통째로 학습시켜 지식을 채우는 단계)이라 하고, 그 뒤에 일머리를 가르치는 과정을 후학습(post-training, 만들어진 모델을 실전에 맞게 다듬는 단계)이라 합니다. 그리고 그 후학습의 핵심 도구가 바로 강화학습입니다.

이 글은 그 강화학습이 지난 몇 년간 어떻게 진화했는지를 따라갑니다. 결론을 먼저 말하면, 강화학습은 한 가지 기술이지만 그 쓰임이 네 번 크게 바뀌었습니다. 그 네 번의 변신을 차례로 보면, 따로 외우기 어려웠던 기법 이름들이 하나의 줄기로 정리됩니다.

1.2. 사전학습과 후학습 : 책 읽기와 현장 훈련

사전학습과 후학습의 차이를, 사람을 키우는 일에 비유해보겠습니다. 신입사원 한 명을 키운다고 합시다.

먼저 회사 도서관의 책을 전부 읽힙니다. 세상의 지식이 머릿속에 차곡차곡 들어갑니다. 이것이 사전학습입니다. 인터넷의 방대한 텍스트를 모델에 통째로 학습시켜, "세상에 어떤 지식이 있는지"를 머릿속에 채우는 단계입니다. 그런데 책만 읽은 신입은 아는 건 많아도 정작 일은 못 합니다. 질문에 엉뚱하게 답하고, 시키는 일을 시키는 대로 하지 않으며, 위험한 말을 거르지도 못합니다.

그래서 두 번째 단계가 필요합니다. 실제 현장에 투입해 일을 시키고, 잘하면 칭찬하고 못하면 교정하기를 반복합니다. 이것이 후학습이고, 그 핵심 방법이 강화학습입니다. AI 랩들이 지난 몇 년간 깨달은 것이 바로 이 지점입니다. 책(인터넷 데이터)은 누구나 똑같이 읽혔습니다. 차이는 "현장 훈련을 누가 더 잘 시키느냐"에서 납니다.

개념적 시각화입니다. 사전학습은 모든 랩이 비슷한 인터넷 데이터로 진행하므로 평준화되고, 차이는 후학습(강화학습)에서 벌어집니다.

1.3. 강화학습은 네 단계로 진화했다

여기서 이 글의 지도를 미리 펼쳐 두겠습니다. 강화학습은 한 가지 기술이지만, 그것을 무엇을 위해 쓰는가가 네 단계로 진화했습니다. 한 문장으로 요약하면 이렇습니다. 강화학습은 처음엔 모델을 얌전하게 만드는 도구였다가, 똑똑하게 만드는 엔진이 되었고, 지금은 스스로 굴러가게 만드는 장치가 되고 있습니다.

이 글은 그 네 단계를 차례로 따라갑니다. 그리고 "가르침"이라는 하나의 비유로 전부를 꿰겠습니다. 학생을 가르치는 방법이 단계마다 어떻게 바뀌는지를 보면, 복잡한 기법 이름들이 하나의 줄기로 자연스럽게 정리됩니다. ① 보상으로 길들이고 → ② 선생이 옆에서 교정하다가 → ③ 답지를 들고 혼자 자습하게 되고 → ④ 끝내 답지조차 없는 과목에 도전하는 순서입니다.

이 타임라인이 글 전체의 목차입니다. 각 장은 이 네 단계를 하나씩 풀어갑니다. 연도는 대표 사건을 기준으로 한 개략적 구분입니다.

2장. 1단계 : 보상 기반으로 학습하기

2.1. 강화학습의 기본 원리 : 잘하면 보상

강화학습의 원리 자체는 의외로 단순합니다. 강아지에게 "앉아"를 가르치는 것과 똑같습니다. 앉으면 간식을 주고, 안 앉으면 안 줍니다. 이걸 반복하면 강아지는 간식(보상)을 최대화하는 방향으로 행동을 바꿉니다. 누가 "앉는 자세의 역학"을 설명해줘서가 아니라, 순전히 보상을 따라가다 보니 그렇게 됩니다.

AI도 다르지 않습니다. 모델이 어떤 행동을 했을 때 그것이 좋으면 보상을 주고, 나쁘면 주지 않습니다. 모델은 보상을 최대화하도록 행동을 조금씩 조정합니다. 게임 AI가 점수를 최대화하도록 학습하는 것이 가장 전형적인 예입니다. 알파고가 바둑을 둔 방식도 이것이었습니다. 이기면 보상, 지면 벌. 수백만 번 두다 보니, 사람이 천 년간 쌓은 정석을 넘어서는 수를 스스로 찾아냈습니다. 보상이라는 단순한 신호 하나가, 가르치지 않은 전략을 끌어내는 힘이 됩니다.

2.2. 그런데 언어모델엔 '점수'가 없다

문제가 하나 있습니다. 바둑은 이기고 지는 것이 명확합니다. 게임은 점수가 자동으로 나옵니다. 그런데 언어 모델이 쓴 글에는 점수가 없습니다. "이 문장이 80점, 저 문장이 60점"이라고 자동으로 매겨주는 장치가 없습니다. 강화학습을 돌리려면 보상이 있어야 하는데, 언어에는 그 보상을 줄 채점기가 없었던 것입니다. 이것이 언어 모델에 강화학습을 적용하려던 사람들이 처음 부딪힌 벽이었습니다.

그래서 2017년에 중요한 아이디어가 나옵니다. 사람이 두 개의 답을 보고 더 나은 쪽을 고르면, 그 선택을 보상으로 삼자는 것입니다 (Christiano et al., arXiv:1706.03741). 발상의 묘미가 여기 있습니다. 글에 직접 점수를 매기는 건 어렵지만, "A와 B 중 어느 게 나아요?"라는 질문에는 사람이 비교적 쉽고 일관되게 답할 수 있습니다. 절대 점수는 못 매겨도 상대 비교는 됩니다. 이 "사람의 선호"가 언어 모델 강화학습의 첫 번째 보상이 되었습니다.

2.3. PPO : 보상을 향해 안정적으로 가는 엔진

보상이 정해졌다고 끝이 아닙니다. 보상을 향해 모델을 어떻게 움직이느냐가 또 다른 문제입니다. 너무 급하게 바꾸면 모델이 균형을 잃고 망가지고, 너무 천천히 바꾸면 학습이 안 됩니다. 운전으로 치면, 핸들을 한 번에 꺾으면 차가 뒤집히고 안 꺾으면 길을 못 따라가는 것과 같습니다.

이걸 안정적으로 푸는 방법이 PPO(Proximal Policy Optimization, 근접 정책 최적화)입니다. 한 번에 너무 멀리 가지 않도록 보폭을 제한하면서, 보상을 향해 조금씩 안전하게 나아가는 방식입니다. PPO라는 이름과 그 안의 수학은 잊어도 됩니다. 기억할 것은 하나입니다. 보상을 향해 조금씩 안전하게 나아가는 안정적인 엔진이 생겼고, 그 덕에 다음 단계인 RLHF가 비로소 가능해졌습니다.

정리하면, 1단계에서는 두 개의 재료가 준비되었습니다. 사람의 선호라는 "보상"과, 그 보상을 향해 안전하게 움직이는 PPO라는 "엔진"입니다. 이 둘이 만나야 다음 단계가 열립니다.

개념적 시각화입니다. 모델이 답을 내고, 사람 선호로 채점한 보상 신호를 받아, PPO로 조금씩 안전하게 조정하기를 반복합니다.

3장. 2단계 : 사람이 좋아하는 방식으로 답하게 (RLHF)

3.1. 똑똑한데 말을 안 들었다

2020년에 나온 GPT-3는 이미 방대한 지식을 가지고 있었습니다. 도서관 책을 다 읽은 신입처럼, 아는 건 정말 많았습니다. 그런데 문제가 있었습니다. 똑똑한데 말을 안 들었습니다. 질문을 하면 엉뚱한 방향으로 가거나, 시키지 않은 말을 길게 늘어놓거나, 위험한 내용을 거르지 않았습니다. 지식이 없어서가 아니라, 그 지식을 "사람이 원하는 방식으로" 쓰게 만드는 장치가 없었던 것입니다.

이 문제를 정렬(alignment, 모델을 사람의 의도와 가치에 맞게 길들이는 일)이라고 부릅니다. 모델을 더 똑똑하게 만드는 문제가 아니라, 이미 똑똑한 모델을 사람 말을 잘 듣고 안전하게 행동하도록 길들이는 문제입니다. 2단계 강화학습은 바로 이 정렬을 위한 도구였습니다.

3.2. RLHF 3단계 : 모범답안, 선호, 강화

이걸 푼 방법이 RLHF(Reinforcement Learning from Human Feedback, 사람 피드백 기반 강화학습)입니다. 가정교사가 학생을 가르치는 과정에 비유할 수 있습니다. 옆에 붙어서 시범을 보이고, 채점하고, 잘하는 방향으로 이끄는 세 단계입니다.

첫째, 모범답안 보여주기입니다. 사람이 직접 좋은 답을 써서 모델에게 "이렇게 답하는 거야"라고 따라 하게 합니다. 이 단계를 SFT라고 부르는데, 약자는 잊어도 됩니다. "사람이 쓴 모범답안 따라하기"로 기억하면 충분합니다. 가정교사가 먼저 풀이를 한 번 보여주는 단계입니다.

둘째, 채점 기준 만들기입니다. 모델이 여러 답을 내놓으면 사람이 "이게 저것보다 낫다"를 고릅니다. 그리고 이 선택들을 잔뜩 모아서, 사람을 흉내 내는 별도의 채점관 AI를 학습시킵니다. 이것을 보상 모델(reward model, 사람의 선호를 학습해 답에 점수를 매기는 별도의 AI)이라고 합니다. 매번 사람이 채점하는 대신, 사람의 취향을 학습한 AI 채점관을 만들어 두는 것입니다.

셋째, 강화하기입니다. 이제 채점관(보상 모델)이 점수를 매기고, 모델은 그 점수를 높이는 방향으로 PPO를 통해 강화됩니다. 2장에서 준비한 보상과 엔진이 여기서 비로소 합쳐집니다.

이 방법으로 만든 InstructGPT(2022)는 놀라운 결과를 냈습니다. 논문은 "13억 파라미터짜리 InstructGPT의 답이, 100배 이상 큰 1750억 파라미터 GPT-3의 답보다 사람 평가에서 더 선호되었다"고 보고합니다 (Ouyang et al., arXiv:2203.02155). 크기를 100배 줄였는데도 사람은 작은 쪽 답을 더 좋아했습니다. 모델의 크기가 아니라 길들이기가 차이를 만든 것입니다.

개념적 시각화입니다. 출처: InstructGPT (Ouyang et al., arXiv:2203.02155). 화살표는 데이터가 다음 단계로 넘어가는 흐름입니다.

3.3. ChatGPT의 숨은 비결, 그리고 DPO

2022년 11월의 ChatGPT 열풍은 사실 이 RLHF의 결과였습니다. 흔히 "ChatGPT가 갑자기 똑똑해졌다"고들 하지만, 정확히 말하면 모델이 더 똑똑해진 게 아닙니다. 바탕이 된 지식은 GPT-3 시절과 크게 다르지 않았습니다. 달라진 것은 그 지식을 "사람 말을 잘 듣는 방식으로" 풀어내게 길들여졌다는 점이고, 그것이 대화의 자연스러움과 유용함으로 나타난 것입니다. RLHF가 ChatGPT 혁명의 숨은 엔진이었던 셈입니다.

이후 RLHF는 더 간단한 변형으로 발전하며 대중화됐습니다. 그 대표가 DPO(Direct Preference Optimization, 직접 선호 최적화)입니다 (Rafailov et al., arXiv:2305.18290). 채점관(보상 모델)을 따로 두지 않고, 사람 선호 데이터로 모델을 곧바로 조정하는 방식입니다. 큰 줄기에서는 "RLHF가 더 쉽고 싸졌다" 정도로 기억하면 충분합니다. 길들이기 기술이 점점 대중화되어, 작은 팀도 모델을 정렬시킬 수 있게 된 것입니다.

4장. 3단계 : 사람 데이터 없이, 검증 가능한 문제를 스스로 풀며 (RLVR)

4.1. 발상의 전환 : 답지 들고 혼자 푸는 학생

먼저 이 장의 열쇠말부터 풀고 가겠습니다. 검증 가능(verifiable)이란 정답이 맞는지 기계가 자동으로 채점할 수 있다는 뜻입니다. 이 한 단어가 3단계와 4단계를 가르는 분기점이 되니, 꼭 기억해 두시기 바랍니다.

2단계 RLHF의 한계는 "사람이 채점관"이라는 데 있었습니다. 사람은 느리고 비쌉니다. 박사급 인력이 답 하나하나를 비교해줘야 하니, 밤새 수백만 번 채점할 수 없습니다. 사람이 끼니를 늘릴 수 없는 만큼 학습량에 천장이 있었습니다.

그런데 누군가 이렇게 깨달았습니다. 수학과 코딩은 정답을 기계가 자동으로 채점할 수 있습니다. 수학은 답이 맞는지 계산하면 되고, 코드는 실행해서 테스트를 통과하는지 보면 됩니다. 이런 영역에서는 사람이 필요 없습니다. 채점이 자동이니까요.

비유하면 이렇습니다. 그동안은 가정교사가 옆에 붙어 일일이 채점했습니다(RLHF). 이제 학생이 답지를 들고 혼자 문제집을 풉니다. 채점이 자동이니 사람이 빠지고, 모델은 밤새 수백만 번 스스로 풀고 채점하고 또 풀 수 있습니다. 사람이라는 병목이 사라지니, 컴퓨트만 부으면 끝없이 강해집니다. 이것이 RLVR(Reinforcement Learning from Verifiable Rewards, 검증가능 보상 기반 강화학습)입니다.

그런데 "답지 들고 혼자 풀면 똑똑해진다"는 발상이 실제 모델로 구현되기까지는 세 개의 발견이 필요했습니다. 똑똑해지는 새로운 방법(o1), 그걸 싸게 만든 기술(GRPO), 그리고 가르치지 않아도 된다는 증명(R1-Zero)입니다. 이 세 부품이 합쳐져 2025년 추론 AI 시대가 열렸습니다. 하나씩 보겠습니다.

4.2. 부품① o1 : '오래 생각하면 똑똑해진다'는 새 레버

이 시대를 연 첫 모델이 OpenAI의 o1(2024년 9월)입니다. o1이 보여준 것은, 성능을 올리는 레버가 하나가 아니라 둘이라는 사실이었습니다.

그동안은 "모델을 더 크게" 만드는 것이 사실상 유일한 레버였습니다. 뇌를 키우면 똑똑해진다, 그게 전부였습니다. o1은 여기에 "답하기 전에 더 오래 생각하게" 만드는 두 번째 레버를 추가했습니다. 같은 모델이라도 추론에 시간을 더 쓰면 더 정확해진다는 것입니다. 사람도 어려운 문제를 받으면 더 오래 고민할수록 잘 풀듯이, 모델도 연습장을 길게 쓰게 하면 어려운 문제를 더 잘 풀었습니다.

OpenAI는 o1의 성능이 두 방향으로 일관되게 올랐다고 밝혔습니다. 학습할 때 강화학습을 더 돌릴수록 오르고, 답할 때 더 오래 고민하게 할수록 올랐습니다 (OpenAI, Learning to Reason with LLMs). "더 크게"라는 막다른 골목에 새 길이 하나 더 뚫린 셈입니다. 그리고 이 두 번째 길은, 답지로 자동 채점되는 영역에서 강화학습을 무한히 돌릴 수 있을 때 진짜 위력을 냅니다. o1은 그 가능성을 처음 증명했습니다.

4.3. 부품② GRPO : 채점관을 없애 비용을 절반으로

여기서 중요한 부품이 하나 더 등장합니다. GRPO(Group Relative Policy Optimization, 그룹 상대 정책 최적화)입니다 (DeepSeekMath, arXiv:2402.03300). 이게 왜 중요한지가 이 절의 핵심입니다.

2장에서 본 PPO 방식에는 숨은 비용이 있었습니다. 학생(모델)을 키울 때, 학생이 낸 답이 얼마나 좋은지 그때그때 평가해주는 코치(critic)를 한 명 더 붙여야 했습니다. 문제는 이 코치도 학생만큼 덩치가 커서, 메모리와 비용이 거의 두 배로 든다는 것이었습니다. 선수 한 명을 훈련하는데 그 옆에 선수만큼 비싼 코치를 상시 붙여둬야 했던 셈입니다.

GRPO는 코치를 아예 없앱니다. 대신 같은 문제를 여러 번(예를 들어 8번) 풀게 해서, 그 8개의 답을 서로 비교합니다. "이 중에서 평균보다 잘한 답에 가산점"을 주는 그룹 상대평가입니다. 코치가 매기는 절대 점수 대신, 자기들끼리의 상대평가로 대체한 것입니다. 코치가 사라지니 학습 비용이 절반 가까이 떨어졌고, 그래서 자본이 부족한 오픈소스 진영도 추론 강화학습을 돌릴 수 있게 됐습니다. 추론 AI가 소수 대기업의 전유물에서 벗어나는 결정적 계기였습니다.

개념적 시각화입니다. 출처: DeepSeekMath / GRPO (Shao et al., arXiv:2402.03300). PPO는 코치(가치 모델)를 따로 돌려야 하지만, GRPO는 같은 문제를 여러 번 풀어 서로 비교해 코치를 대체합니다.

4.4. 부품③ R1-Zero : 가르치지 않았는데 스스로 다시 생각하다

그리고 2025년 1월, DeepSeek-R1이 충격을 줍니다. 그 핵심에 R1-Zero라는 버전이 있었습니다.

보통은 사람이 만든 모범답안(3장에서 본 SFT 단계, 모범답안 따라하기)으로 먼저 가르친 뒤에 강화학습을 합니다. 가정교사가 먼저 시범을 보여준 다음 혼자 풀게 하는 순서입니다. 그런데 R1-Zero는 그 모범답안 단계를 통째로 건너뛰고, 처음부터 순수하게 강화학습만으로 학습했습니다 (DeepSeek-R1, arXiv:2501.12948). 시범 없이, 답지만 쥐여주고 혼자 풀게 둔 것입니다.

그랬더니 놀라운 일이 벌어졌습니다. 모델이 누가 시키지도 않았는데 스스로 "이 방법이 더 빠르네", "잠깐, 이건 틀렸다, 다시 해보자" 같은 요령(추론 패턴)을 저절로 익히기 시작했습니다. 검산을 하고, 막히면 되돌아가고, 풀이를 길게 늘이기 시작한 것입니다. DeepSeek 논문은 이 순간을 논문 표현 그대로 "아하, 깨달음의 순간"(aha moment)이라고 불렀습니다. 가르치지 않은 능력이 학습 도중 저절로 솟아나는 이런 현상을 창발(emergence, 가르치지 않은 능력이 학습 중에 스스로 나타나는 현상)이라고 합니다.

이것이 "검증된 주제에서는 사람 데이터 없이도 스스로 학습한다"는 3단계의 정수입니다. 사람이 모범답안을 써줄 필요도, 일일이 채점할 필요도 없이, 답지 하나만 있으면 모델이 스스로 똑똑해진다는 것을 R1-Zero가 증명했습니다. 딥시크 충격의 기술적 정체가 바로 이것이었습니다.

🔬딥시크는 무엇을 '빼서' 세상을 흔들었나

순수 강화학습으로 추론을 창발시킨 딥시크의 뺄셈 공학을 부품 단위로 해부합니다.

→

5장. 4단계 : 검증 가능하지 않은 문제에서도 잘하기

5.1. 새 장벽 : 검증 가능성이 자동화 순서를 정한다

3단계 RLVR은 강력했지만, 한 가지 조건이 붙어 있었습니다. "정답을 기계가 채점할 수 있어야" 한다는 것입니다. 수학과 코딩은 됩니다. 하지만 글쓰기, 전략 수립, 디자인, 상담에는 명확한 정답이 없습니다. "이 에세이가 정답이고 저 에세이는 오답"이라고 기계가 자동으로 매길 수 없습니다.

그 결과 흥미로운 비대칭이 생겼습니다. 채점이 자동인 코딩·수학은 거의 초인간 수준으로 질주하는데, 채점이 어려운 주관적 영역은 상대적으로 정체돼 있습니다. 같은 AI인데 어떤 능력은 폭발적으로 늘고 어떤 능력은 제자리걸음입니다. 그 갈림의 기준이 바로 "기계가 채점할 수 있느냐"였습니다. 여기서 중요한 통찰이 하나 나옵니다. 결과가 명확히 검증되는 일일수록 먼저 자동화됩니다. 검증 가능성이 자동화의 순서를 정하는 것입니다. 이것은 AI가 어떤 일을 먼저 잘하게 될지 가늠하는 강력한 예측 틀이기도 합니다.

그래서 지금 강화학습 연구의 최전선은 "검증이 안 되는 영역에서 어떻게 보상을 만들 것인가"입니다. 솔직히 말하면, 이곳은 아직 정답이 없는 땅입니다. 여러 방식이 동시에 경쟁하고, 어느 것도 확실한 승자가 아닙니다. 크게 세 갈래로 갈립니다. 없는 채점기를 직접 만들거나(길 A), 데이터를 스스로 찍어내거나(길 B), 채점 가능한 연습장을 조달하거나(길 C)입니다. 셋 다 아직 실험 중이라는 점을 정직하게 짚어두고, 하나씩 보겠습니다.

5.2. 길 A : 검증을 만들어낸다

첫 번째 길은 채점기가 없으면 인공적으로 만들어내는 것입니다. 글을 통째로 "정답/오답"으로 못 매기니, 잘게 쪼갭니다. "질문에 답했는가, 논리 비약은 없는가, 사실 오류는 없는가"처럼 검증 가능한 항목으로 나눠 부분 채점합니다. 이것을 루브릭(rubric, 채점 기준표)을 이용한 보상이라고 합니다. 한 편의 에세이는 채점이 어려워도, "주장이 명확한가? 예/아니오"는 채점할 수 있다는 발상입니다. 실제로 이 방식을 정리한 연구(Rubrics as Rewards)는 의료·과학 같은 주관적 영역에서 단순 채점보다 나은 결과를 보고했습니다 (Gunjal et al., Scale AI, NeurIPS 2025, arXiv:2507.17746).

또는 더 강한 AI를 통째로 채점관으로 세우기도 합니다. 채점을 사람이나 체크리스트 대신 다른 AI에게 맡기는 것입니다(LLM 판사). 그런데 여기엔 함정이 있습니다. AI 판사는 긴 답을 더 좋게 보고, 자기가 쓴 답을 편애하고, 사용자에게 아첨하는 답에 높은 점수를 줍니다. 심지어 의미 없는 토큰 하나에 속아 넘어가기도 합니다. 채점기를 인공적으로 만들면, 모델은 진짜 좋은 답이 아니라 "채점기를 속이는 답"을 배우기도 합니다. 이것을 보상 해킹(reward hacking, 모델이 진짜 목표가 아니라 채점기의 허점을 공략해 점수만 높이는 현상)이라고 부릅니다.

가르침에 비유하면 이렇습니다. 답지가 없는 과목이라, 선생님이 채점 기준표를 직접 만들어 채점하는 셈입니다. 단, 학생이 그 기준표의 허점을 파고들어 내용 없이 점수만 잘 받는 법을 배우기도 합니다. 채점기를 만드는 쪽과 그걸 속이는 쪽의 끝없는 술래잡기가 이 길의 숙제입니다.

5.3. 길 B : 데이터를 스스로 만든다

두 번째 길은 가장 급진적입니다. 외부 데이터 자체를 아예 쓰지 않고, 모델이 스스로 문제를 내고 스스로 푸는 것입니다. Absolute Zero(2025) 같은 방식은 한 모델이 출제자와 풀이자 1인 2역을 하며, 코드 실행기로만 정답을 검증해 외부 데이터 없이 추론 능력을 키웠습니다 (Zhao et al., arXiv:2505.03335). 선생도 문제집도 없이, 학생이 스스로 출제하고 스스로 채점하며 자란 것입니다.

왜 이런 극단적인 방향이 나왔을까요. 배경에는 데이터 고갈(data wall, AI 학습에 쓸 고품질 인터넷 텍스트가 바닥나는 현상) 위기가 있습니다. 인터넷의 고품질 텍스트가 2026년에서 2032년 사이에 바닥난다는 추정이 나오면서 (Epoch AI, Villalobos et al.), "읽힐 책을 다 읽어버리면 그다음은 어떻게 하나"라는 질문이 절실해졌습니다. 모델이 스스로 데이터를 만들어내는 self-play(자기 대국)가 그 탈출구 중 하나로 떠올랐습니다. 인터넷이 마르더라도 스스로 연료를 만든다는 발상입니다.

가르침에 비유하면, 이제는 풀 문제집조차 없어서 학생이 스스로 문제를 내고 스스로 푸는 셈입니다. 다만 이 길에는 의문도 따라붙습니다. 스스로 낸 문제로만 공부하면, 결국 자기가 이미 아는 범위 안에서만 맴도는 게 아니냐는 것입니다. 이 한계는 아직 풀리지 않은 숙제로 남아 있습니다.

5.4. 길 C : 환경과 전문가를 조달한다

세 번째 길은 가장 현실적이고, 지금 가장 큰 병목입니다. 코딩은 테스트라는 공짜 채점기가 있지만, 컴퓨터를 조작하거나 웹을 탐색하는 에이전트는 "채점 가능한 연습장"을 처음부터 만들어야 합니다. 이것을 환경(environment, 에이전트가 행동을 연습하고 그 결과를 채점받는 가상의 작업 공간)이라고 부릅니다. 코딩에는 이미 테스트라는 연습장이 깔려 있지만, "엑셀을 조작해 보고서를 만들어라" 같은 일에는 그 연습장 자체가 없습니다.

게다가 에이전트는 한 번에 답하지 않고 수십 번 행동합니다. 20번 행동한 끝에 성공했을 때, 그중 어느 행동이 잘한 것인지 가려내 보상을 나눠주기가 매우 어렵습니다. 이것을 멀티턴 크레딧 어사인먼트 문제라고 합니다. 축구팀이 한 골을 넣었을 때, 수비수·미드필더·공격수 중 누구의 공이 얼마인지 나누는 것과 똑같은 난제입니다. 강화학습이 길러낸 추론 능력을, 이렇게 여러 번 행동하는 실전 에이전트로 잇는 일은 그 자체로 별도의 설계 영역이 되었습니다.

🔬하네스 엔지니어링: AI 에이전트가 스스로 돌아가는 식당을 만드는 기술

여러 번 행동하는 에이전트를 굴리려면 루프·메모리·도구·가드레일이 필요합니다. 그 시스템 설계를 해부합니다.

→

그래서 채점 가능한 환경을 만들어 파는 회사와, 법률·의료·금융처럼 어려운 분야의 전문가 피드백을 모아 파는 회사가 새로운 산업으로 떠올랐습니다. 환경 하나를 만드는 데 수만 달러가 들고, 한 AI 랩이 환경 구축에만 막대한 비용을 쓴다는 보도가 나올 정도입니다. 후처리 데이터를 어떻게 확보하느냐가 곧 경쟁력이 되면서, 그 데이터를 만들어주는 일 자체가 거대한 시장이 된 것입니다.

가르침에 비유하면, 그 과목은 연습장(실습실)조차 없어서 실습실부터 지어야 하는 셈입니다. 그래서 실습실을 지어주는 일 자체가 새로운 일거리가 됐습니다.

개념적 시각화입니다. 셋 다 검증 불가 영역에서 보상을 얻으려는 시도이며, 아직 어느 것도 확정된 정답은 아닙니다.

6장. 우리가 얻을 인사이트 : 이제는 후처리가 성능을 가른다

6.1. 사전학습은 끝난 게 아니라 평준화됐다

네 단계를 따라오면 하나의 결론이 보입니다. AI의 경쟁 축이 사전학습에서 후처리로 넘어갔다는 것입니다. 그런데 이 문장은 오해되기 쉬워서, 여기서 한 번 정확하게 짚고 가겠습니다.

"사전학습의 시대가 끝났다"는 표현은 강렬하지만 틀립니다. 사전학습은 여전히 모든 것의 기반이고, 오히려 데이터 고갈로 더 어려워지는 중입니다. 좋은 후학습도 결국 잘 빚어진 사전학습 모델 위에서만 빛납니다. 정확한 진단은 이렇습니다. 사전학습이 평준화되어 더 이상 차별화 요소가 아니게 됐고, 차이가 후처리로 옮겨갔습니다. 모두가 비슷한 인터넷을 긁어 비슷한 기본기를 갖추게 되자, 승부가 그다음 단계인 후학습에서 나기 시작한 것입니다.

이것은 추측이 아니라 업계가 직접 공개한 사실입니다. AI 코딩 회사 Cursor는 "Composer 1.5의 후학습에 쓴 컴퓨트가 베이스 사전학습에 쓴 양을 넘어섰다"고 밝혔고, 같은 사전학습 모델 위에서 강화학습을 20배 더 키웠다고 공개했습니다 (Cursor, Composer 1.5). 돈과 연산을 어디에 쓰는지가 후학습으로 역전된 것입니다. 기본기는 갖췄으니, 이제 자본은 실전 훈련에 쏟는다는 신호입니다.

6.2. 같은 모델, 후처리만으로

증거는 또 있습니다. 베이스 모델 자체는 키우지 않고 후학습만 더 잘 다듬어, 실전 코딩 같은 영역에서 성능을 크게 끌어올린 사례들이 여러 AI 랩에서 보고되고 있습니다. 모델의 뇌 크기는 그대로인데, "현장 훈련"을 더 잘 시켜서 일머리를 끌어올린 것입니다. Anthropic이 2026년 공개한 모델이 그런 사례인데, 더 똑똑해졌다기보다 "지치지 않고 끝까지 실행하는" 지구력이 후학습으로 도약한 것이 핵심이었습니다.

🔬Claude Fable 5: 더 똑똑해진 게 아니라, 지치지 않게 됐다

지능이 아니라 실행 지구력의 도약. 후학습이 성능을 가른다는 명제의 실물 증거를 벤치마크·한계까지 뜯어봅니다.

→

이것이 "후처리가 성능을 가른다"는 명제의 가장 직접적인 증거입니다. 같은 책을 읽은 신입이라도, 현장 훈련을 누가 더 잘 시켰느냐가 일머리를 가릅니다. 두뇌의 크기가 아니라 훈련의 질이 결과를 만드는 단계에 들어선 것입니다.

6.3. 앞으로의 싸움 : 검증 가능한 후처리 데이터를 누가 확보하나

그러면 앞으로의 경쟁은 무엇으로 갈릴까요. 모델 크기가 아닙니다. 누가 검증 가능한 후처리 데이터를 더 잘 확보하고, 그걸로 자기 서비스에 특화된 학습을 시키느냐입니다.

핵심은 후처리 데이터의 출처가 바뀌었다는 데 있습니다. 사전학습 데이터는 고정된 인터넷이라, 누구나 같은 걸 긁습니다. 한 번 긁으면 끝이고, 나만의 것이 아닙니다. 그런데 후처리 데이터는 내 제품을 쓰는 사용자와 환경에서 나옵니다. 쓸수록 새로 생기고, 나만 가집니다. 인터넷에는 없는, 내 서비스에서만 흘러나오는 데이터입니다.

코딩 에이전트가 특히 유리한 이유가 여기 있습니다. 사용자가 코드를 쓰고, 고치고, 테스트를 통과시키는 모든 과정이 인터넷에는 없는 학습 데이터가 됩니다. 막혔다가 빠져나오는 과정, 거부된 제안, 사람이 손본 부분은 GitHub의 최종 코드에는 남지 않습니다. 에이전트 제품을 굴려야만 생기는 기록입니다. 게다가 그 코드는 테스트로 자동 검증까지 됩니다. 검증 가능한 후처리 데이터가 제품을 쓰는 것만으로 저절로 쌓이는, 가장 이상적인 구조입니다.

개념적 시각화입니다. 사용자가 많아질수록 상호작용 데이터가 쌓이고, 후처리 보상신호가 정교해지며, 모델이 좋아져 사용자가 더 많아지는 순환입니다.

이것이 우리에게 의미하는 바는 이렇습니다. 앞으로 AI의 발전은 "얼마나 더 큰 모델이 나오나"보다 "내가 자주 쓰는 AI 서비스가 내 사용 패턴에서 얼마나 잘 배우나"로 체감될 가능성이 큽니다. 더 똑똑한 AI는 더 큰 두뇌가 아니라, 나와 더 많이 부대낀 AI에서 나올지 모릅니다.

6.4. 정직한 균열 : 천장을 올리나, 속도만 올리나

마지막으로 정직하게 짚습니다. 이 모든 이야기에 반론이 있습니다. NeurIPS 2025에서 구두 발표된 한 연구는, "강화학습은 새로운 능력을 만드는 게 아니라, 베이스 모델이 이미 가진 답을 더 빨리 뽑아낼 뿐"일 수 있다고 주장합니다 (Yue et al., NeurIPS 2025 Oral, arXiv:2504.13837). 똑똑해진 게 아니라 빨라진 것뿐이라는 반론입니다. 실제로 이 연구는 여러 번 시도하게 하면 오히려 베이스 모델이 더 다양한 정답을 찾아낸다는 점을 근거로 듭니다.

그렇다면 후처리가 모델의 천장 자체를 올리는지, 아니면 같은 천장 안에서 속도만 올리는지는 아직 결론이 나지 않았습니다. 한쪽은 강화학습이 사전학습 모델의 경계 안에 머문다고 보고, 다른 쪽은 그 경계를 넓힌다고 주장하며, 이를 가를 합의된 근거는 아직 없습니다. 이 글이 그린 4단계 서사도 이 균열 위에 서 있다는 점을, 과장 없이 인정해 둡니다.

다만 분명한 것이 하나 있습니다. 지금 AI 랩들이 자본과 인재를 쏟아붓는 곳이 사전학습이 아니라 바로 이 후처리라는 사실입니다. 천장이든 속도든, 다음 도약이 후처리에서 나온다는 데에는 업계의 베팅이 모여 있습니다. 강화학습의 다음 변신이 어디로 갈지는, 바로 5장에서 본 검증 불가 영역에서 누가 먼저 길을 찾느냐에 달려 있습니다.