주사위에서 챗봇까지: 거대 언어모델 발전사

최첨단 기술의 상징인 ChatGPT, 그 시작이 모나코의 한 카지노에서 비롯되었다면 믿으시겠어요? 거대 언어모델(LLM)의 장대한 변천사를 따라가 봅니다.

• 인공지능의 시초가 된 확률적 아이디어, 몬테카를로 방법의 원리
• AI의 암흑기와 이를 극복한 다층 퍼셉트론, 그리고 딥러닝의 빅뱅
• 현대 거대 언어모델을 가능하게 한 트랜스포머 아키텍처의 혁신
• ChatGPT를 넘어 에이전트 AI로 향하는 기술의 미래와 국내 현황

인공지능의 새벽: 확률과 신경망의 등장

2022년 겨울, 세상은 마치 마법처럼 등장한 인공지능 챗봇, ChatGPT에 열광했습니다. 하룻밤 사이에 나타난 듯한 이 놀라운 기술은 우리의 질문에 막힘없이 답하고, 시를 쓰고, 코드를 짜주며 전 세계를 충격에 빠뜨렸습니다. 마치 공상 과학 영화 속 미래가 갑자기 현실이 된 것 같았죠.

하지만 이 모든 것이 정말 하룻밤 만에 이루어진 기적이었을까요? 아니면 우리가 미처 알지 못했던 수십 년간의 끈질긴 여정 끝에 맺어진 결실이었을까요? 이 질문에 답하기 위해, 우리는 시간을 거슬러 올라가야 합니다. 놀랍게도 그 여정의 시작은 최첨단 컴퓨터 연구소가 아닌, 우연과 확률이 지배하는 모나코의 한 카지노에서 영감을 얻은 아이디어에서 출발합니다.

1. 카지노의 비밀: 불확실성을 길들인 몬테카를로 알고리즘

인공지능의 역사를 이야기하는데 웬 카지노냐고요? 모든 것의 시작에는 ‘몬테카를로 알고리즘’이라는 독특한 이름의 방법론이 있습니다. 이 이름은 모나코의 유명한 도박 도시, 몬테카를로에서 따온 것으로, 그 원리 또한 도박의 확률 게임과 깊은 관련이 있습니다.

몬테카를로 방법의 핵심은 **‘무작위로 많이 해보는 것’**입니다. 수학적으로 완벽하게 계산하기 너무 복잡하거나 불가능한 문제에 부딪혔을 때, 무수히 많은 무작위 시도를 통해 그 해답에 가까운 근사치를 얻어내는 기법이죠.

정사각형 안에 꼭 맞는 원을 그리고 무작위로 점을 찍으면, 점들의 개수 비율을 통해 원주율의 근사치를 계산할 수 있습니다.

이 아이디어는 체스나 바둑처럼 경우의 수가 무한에 가까운 게임에서 모든 경우의 수를 계산하는 대신, 유망한 경로 몇 개를 무작위로 탐색해 최적의 수를 추정하는 방식으로 활용되었습니다. 훗날 이세돌 9단을 꺾은 ‘알파고’ 역시 이 아이디어를 계승한 ‘몬테카를로 트리 탐색(MCTS)‘을 핵심 무기로 사용했죠. 확률에 기반해 가장 그럴듯한 답을 찾아가는 이 접근 방식은 훗날 다음 단어를 확률적으로 예측하는 거대 언어모델의 기본 철학과도 맞닿아 있습니다.

2. 인공지능의 탄생과 두 갈래 길

1956년 다트머스 워크숍에서 **‘인공지능(Artificial Intelligence)’**이라는 용어가 처음 등장하며, AI 연구는 크게 두 방향으로 나뉘었습니다.

• 기호주의(Symbolism): 인간의 지능을 논리적인 규칙과 기호 조작의 결과물로 보고, 이를 프로그래밍하려는 하향식 접근법입니다.
• 연결주의(Connectionism): 뇌 구조에서 영감을 얻어, 수많은 인공 뉴런들을 연결하면 지능이 창발할 것이라 믿는 상향식 접근법입니다.

연결주의 진영에서 1958년, 심리학자 프랭크 로젠블랫이 개발한 **‘퍼셉트론(Perceptron)’**은 뇌의 뉴런을 모방한 최초의 실용적인 인공 신경망 모델이었습니다. 여러 입력을 받아 가중치를 곱하고, 그 합이 특정 임계값을 넘으면 활성화되는 단순한 구조였죠. 혁신적인 점은 이 가중치를 데이터로부터 ‘학습’할 수 있다는 것이었습니다.

3. 첫 번째 겨울: AI를 좌절시킨 XOR 문제

퍼셉트론은 AND나 OR처럼 하나의 직선으로 정답과 오답을 나눌 수 있는 ‘선형 분리’ 문제를 잘 해결하며 AI 연구계에 낙관론을 불어넣었습니다.

하지만 이 낙관론은 ‘XOR(배타적 논리합)‘이라는 아주 간단한 문제 앞에서 무너졌습니다. XOR은 두 입력값이 서로 ‘다를’ 때만 참이 되는데, 이 결과는 어떤 직선으로도 나눌 수 없습니다.

1969년 마빈 민스키가 이 한계를 수학적으로 증명하자, AI에 대한 기대는 실망으로 바뀌었고, 투자가 급감하는 **‘AI 겨울(AI Winter)’**이 찾아왔습니다. 개인적으로 XOR 문제의 충격은 마치 모든 재료와 레시피를 가졌지만, 결정적인 양념 하나가 없어 요리를 망친 것과 같았다고 생각합니다. 이 간단한 문제가 AI 전체에 대한 기대를 꺾고 기나긴 침체기를 가져왔다는 사실은, 혁신이 늘 거대한 난관이 아닌 작은 디테일에서 발목 잡힐 수 있다는 교훈을 줍니다.

딥러닝의 도약과 거대 언어모델의 서막

혹독한 겨울을 지나, AI는 더 깊고 복잡한 구조로 진화하며 다시 한번 도약의 기회를 맞이합니다.

4. 암흑기를 끝낸 구원투수: 다층 퍼셉트론과 역전파

첫 AI 겨울을 끝낸 것은 “하나의 선으로 안 되면, 여러 개의 선을 쓰자"는 아이디어를 구현한 **‘다층 퍼셉트론(Multi-Layer Perceptron, MLP)’**이었습니다. MLP는 입력층과 출력층 사이에 하나 이상의 ‘은닉층(hidden layer)‘을 추가한 구조입니다. 은닉층은 데이터를 비선형적으로 변환하여, 단층 퍼셉트론이 풀지 못했던 XOR 같은 문제를 해결할 수 있게 했습니다.

하지만 이 복잡한 네트워크를 학습시키는 것이 문제였습니다. 이 난제를 해결한 것이 바로 ‘오차 역전파(Backpropagation)’ 알고리즘입니다. 역전파는 최종 결과의 오차를 거꾸로 전파시키며 각 연결(가중치)이 오차에 얼마나 기여했는지 계산하여 수정하는 방식으로, 깊은 신경망을 학습시킬 강력한 무기가 되어주었습니다.

5. 2012년, 딥러닝의 빅뱅: AlexNet의 등장

1980년대에 이론적 무기는 갖춰졌지만, 딥러닝이 잠재력을 폭발시키기까지는 **‘빅데이터’**와 **‘GPU’**가 더 필요했습니다. 2009년 공개된 1,400만 장의 이미지 데이터셋 **‘이미지넷(ImageNet)’**과 GPU의 강력한 병렬 연산 능력이 결합되면서 마침내 삼위일체가 완성되었습니다.

2012년, 제프리 힌튼 교수 팀의 심층 합성곱 신경망(CNN) **‘AlexNet’**은 이미지넷 챌린지에서 15.3%라는 압도적인 오류율로 우승하며 딥러닝 시대의 개막을 알렸습니다. 이 사건은 ‘규모가 곧 성능’이라는 믿음을 확산시키며 훗날 거대 언어모델의 등장을 예고했습니다.

6. 시간의 흐름을 이해하기: 순환 신경망(RNN)

이미지 정복 후, AI의 다음 목표는 언어처럼 ‘순서’가 중요한 **순차 데이터(Sequential Data)**였습니다. 이를 위해 등장한 모델이 바로 **‘순환 신경망(Recurrent Neural Network, RNN)’**입니다. RNN은 네트워크 내부에 ‘순환’ 고리를 만들어 이전 단계의 정보를 기억하고 현재 계산에 반영했습니다.

하지만 RNN은 문장이 길어질수록 앞부분의 정보를 잊어버리는 **‘장기 의존성 문제’**라는 치명적 약점이 있었습니다. LSTM이나 GRU 같은 개선 모델이 등장했지만, 순차적으로 처리해야 한다는 근본적인 한계는 여전했습니다.

현세의 신, 트랜스포머와 거대 언어모델

2017년, 모든 것을 바꾼 논문 한 편이 등장하며 진정한 거대 언어모델의 시대가 열립니다.

7. “Attention Is All You Need”: 세상을 바꾼 트랜스포머

2017년 구글이 발표한 논문은 **‘트랜스포머(Transformer)’**라는 혁신적인 아키텍처를 선보이며, 순차 데이터 처리의 근간이었던 ‘순환’ 구조를 완전히 버렸습니다.

트랜스포머는 ‘셀프 어텐션(Self-Attention)’ 메커니즘을 통해 모든 단어를 한 번에 펼쳐놓고, 각 단어가 문장 내 다른 모든 단어와 맺는 관계의 중요도를 동시에 계산합니다.

이 방식은 장기 의존성 문제를 근본적으로 해결했을 뿐만 아니라, 모든 계산을 병렬로 처리할 수 있어 GPU 성능을 극한까지 활용하게 했습니다. 이 압도적인 효율성은 이전에는 상상할 수 없었던 ‘거대(Large)’ 언어모델의 시대를 열었습니다.

8. 거인의 시대: BERT와 GPT

트랜스포머를 기반으로 자연어 처리 세계를 양분하는 두 거대 모델, BERT와 GPT가 탄생했습니다. 이 둘을 쉽게 비유하자면, BERT는 탐정, GPT는 이야기꾼입니다.

• BERT (문맥의 탐정): 문장의 빈칸을 채우기 위해 앞뒤 문맥을 모두 살피는 ‘마스크 언어 모델’ 방식으로 학습합니다. 문장 전체를 양방향으로 고려하기에 단어의 미묘한 의미를 파악하는 ‘이해’ 능력이 탁월하며, 구글 검색 엔진의 핵심 기술로 활용됩니다.
• GPT (창의적인 이야기꾼): 주어진 단어 다음에 올 가장 확률 높은 단어를 예측하는 방식으로 학습합니다. 이 ‘자기회귀적’ 방식 덕분에 새로운 텍스트를 창의적으로 ‘생성’하는 데 강력한 힘을 발휘합니다. 특히 GPT-3는 몇 가지 예시만으로 새로운 작업을 수행하는 ‘퓨샷 학습’ 능력을 보여주며 범용 AI의 가능성을 열었습니다.

9. 인간적인 AI의 탄생: ChatGPT의 비밀, RLHF

GPT-3는 경이로웠지만, 때로는 거짓말을 하거나 유해한 내용을 생성하기도 했습니다. 모델을 인간의 의도와 가치에 맞게 ‘정렬(Alignment)‘하는 과정이 필요했죠.

이 문제를 해결하고 ChatGPT를 탄생시킨 핵심 기술이 바로 **‘인간 피드백을 통한 강화학습(RLHF)’**입니다.

1. 1단계 (지시 튜닝): ‘지시-모범 답안’ 데이터셋으로 모델에게 사용자의 지시를 따르는 기본 능력을 가르칩니다.
2. 2단계 (보상 모델 훈련): 인간이 여러 답변의 선호도 순위를 매기면, 이를 학습해 어떤 답변이 더 좋은지 점수를 매기는 ‘심판 AI’를 만듭니다.
3. 3단계 (강화학습): 1단계 모델이 답변을 생성하면 2단계 심판 AI가 채점하고, 모델은 더 높은 점수를 받는 방향으로 스스로를 수정해 나갑니다.

최근에는 이 과정을 단순화한 ‘직접 선호 최적화(DPO)’ 같은 더 효율적인 기술도 주목받고 있습니다.

대한민국 거대 언어모델 현황과 미래

ChatGPT가 촉발한 LLM 전쟁 속에서, 한국의 언어와 문화를 깊이 이해하는 ‘소버린 AI’ 확보를 위해 국내 기업들도 치열한 경쟁을 펼치고 있습니다.

대한민국 LLM 대표선수 비교

이처럼 치열해지는 경쟁 속에서 업스테이지가 주도하는 **‘Open Ko-LLM 리더보드’**는 국내 모델들의 성능을 객관적으로 비교하는 표준 벤치마크 역할을 하며 국내 AI 생태계 발전에 기여하고 있습니다.

결론: 에이전트 AI를 향한 여정과 우리의 과제

주사위 던지기에서 시작된 AI의 여정은 70여 년 만에 인간처럼 대화하는 거대 언어모델의 시대를 열었습니다. 이제 기술은 다음 단계인 **‘에이전트 AI(Agentic AI)’**로 나아가고 있습니다. 에이전트 AI는 스스로 목표를 세우고, 계획하며, 도구를 사용해 복잡한 과업을 자율적으로 수행하는 능동적인 문제 해결사입니다.

이 눈부신 미래 앞에서 제프리 힌튼은 초지능의 위험성을 경고하고, 얀 르쿤은 현재 LLM의 ‘상식’ 부족을 지적하며 새로운 아키텍처의 필요성을 주장합니다. 이들의 논쟁은 우리가 기술의 정점이 아닌, 새로운 시작점에 서 있음을 보여줍니다.

핵심 요약

1. 확률에서 시작된 여정: AI는 완벽한 계산이 아닌, 카지노의 확률 게임에서 영감을 얻은 ‘가장 그럴듯한 답’을 찾는 확률적 접근에서 시작되었습니다.
2. 트랜스포머의 혁명: 순차 처리의 한계를 극복한 트랜스포머 아키텍처는 병렬 처리와 문맥 이해 능력을 극대화하며 거대 언어모델(LLM) 시대를 열었습니다.
3. 인간과의 정렬, 그리고 미래: ChatGPT는 RLHF를 통해 인간의 의도에 맞춰졌으며, 이제 AI는 스스로 계획하고 실행하는 ‘에이전트 AI’로의 진화를 앞두고 있습니다.

이 강력한 신기술을 어떻게 개발하고 책임감 있게 사회에 통합할 것인지를 결정하는 다음 장은, 바로 우리 모두의 손에 달려 있습니다. 이 놀라운 기술의 발전이 우리에게 어떤 의미인지, 오늘 소개된 국내 LLM 중 하나를 직접 사용해보며 그 가능성과 한계를 느껴보는 것은 어떨까요?