죄수의 딜레마: 왜 우리는 협력하기 어려울까?

개인의 최선이 집단의 최악으로 이어지는 비극적인 논리를 파헤치고, 더 나은 협력을 설계하는 방법을 탐구합니다.

• 죄수의 딜레마와 내쉬 균형의 핵심 개념을 이해합니다.
• 냉전, 기후 변화 등 현실 속 딜레마가 왜 발생하는지 분석합니다.
• 인간의 비합리성이 오히려 협력을 이끌어내는 원리를 발견합니다.

서론: 풀리지 않는 협력의 퍼즐

사무실 공유 주방을 떠올려 보세요. 모두가 깨끗한 환경을 원하지만, 아무도 선뜻 청소에 나서지 않습니다. 이 사소한 딜레마는 ‘집단의 이익’과 ‘개인의 편의’가 충돌하는 죄수의 딜레마 상황의 본질을 보여줍니다. 죄수의 딜레마는 단순한 주방 문제를 넘어, 기업의 가격 전쟁, 국가 간 군비 경쟁, 그리고 인류의 기후 변화 대응 실패까지 설명하는 강력한 모델입니다.

우리는 이기적인 존재일까요, 아니면 협력을 위한 숨겨진 코드가 있을까요? 이 글에서는 게임 이론의 냉철한 수학과 행동경제학의 인간적인 통찰을 통해 그 해답을 찾아가는 여정을 떠납니다.

1. 죄수의 딜레마: ‘합리적’ 선택의 함정

두 공범이 서로 다른 방에서 심문받는 고전적인 시나리오를 생각해 봅시다. 수사관은 각자에게 솔깃한 제안을 던집니다.

게임의 규칙과 결과

• 선택: 동료와 의리를 지키는 ‘협력(침묵)’ 또는 동료를 배신하는 ‘배신(자백)’.
• 결과 (형량):
  • 둘 다 협력: 각 1년
  • 한 명 배신, 한 명 협력: 배신자 0년, 협력자 10년
  • 둘 다 배신: 각 5년

이 상황을 표로 정리하면 다음과 같습니다.

표 1: 죄수의 딜레마 보수 행렬 (단위: 형량)

피할 수 없는 배신의 논리

용의자 A의 입장에서 생각해 봅시다.

• 만약 B가 침묵하면, 나는 배신하는 게 이득입니다 (1년 vs 0년).
• 만약 B가 자백하면, 나는 역시 배신하는 게 이득입니다 (10년 vs 5년).

상대방의 선택과 무관하게 나에게 항상 유리한 전략을 **우월 전략(Dominant Strategy)**이라고 합니다. 이 게임에서 우월 전략은 ‘배신’입니다. 두 명의 합리적인 용의자는 모두 배신을 선택하고, 결국 둘 다 5년 형을 받는 결과에 이릅니다. 이처럼 모든 참여자가 상대의 전략에 대해 자신의 최선을 선택해, 누구도 혼자서는 전략을 바꿀 유인이 없는 상태를 **내쉬 균형(Nash Equilibrium)**이라고 합니다.

이는 개인의 논리가 틀려서가 아니라 신뢰와 소통이 불가능한 시스템 구조가 만든 합리성의 함정입니다. 이 딜레마는 냉전 시대 미국과 소련의 핵 군비 경쟁에서 가장 극적으로 나타났습니다. 양국 모두 군축(‘협력’)하는 것이 최선이었지만, 상대의 배신을 두려워해 핵무기 개발(‘배신’) 경쟁에 막대한 비용을 쏟아부었습니다.

2. 다수의 딜레마: 조별 과제와 공유지의 비극

딜레마는 두 명일 때만 발생하지 않습니다. 대학교 조별 과제에서 나타나는 ‘무임승차(프리라이더)’ 문제는 여러 사람이 참여하는 **공공재 게임(Public Goods Game)**의 대표적인 예시입니다.

모두가 노력하면 A+를 받지만, 개인에게 가장 합리적인 선택은 아무것도 하지 않고 다른 사람의 노력에 편승하는 것입니다. 이런 유혹은 **‘공유지의 비극(Tragedy of the Commons)’**으로 이어집니다. 주인이 없는 공동 목초지에서 각 목동이 자신의 이익을 위해 소를 한 마리씩 더 풀어놓으면, 결국 목초지는 황폐해지고 모두가 피해를 봅니다.

이 모델은 기후 변화 위기를 정확히 설명합니다.

• 공공재: 안정된 지구 기후
• 무임승차 유인: 각 나라는 다른 나라들이 비용을 들여 탄소 배출을 줄여주길 바라면서, 자신은 경제적 이익을 위해 계속 오염물질을 배출하려 합니다.
• 결과: 전 지구적 감축 노력은 부진하고, 결국 모두가 기후 재앙이라는 비극에 직면합니다.

[독자적인 통찰 1] 참여자가 많아질수록 책임이 분산되어 배신(무임승차)에 대한 부담이 줄어듭니다. 2명일 때는 배신이 명확히 드러나지만, 200개 국가가 얽힌 기후변화 문제에서는 한 국가의 일탈이 잘 보이지 않습니다. 이는 딜레마 해결을 위해 비공식적인 신뢰가 아닌, 탄소세나 국제 협약 같은 강제력 있는 시스템 설계가 필수적인 이유입니다.

3. 인간적인 글리치: 우리는 생각만큼 이기적이지 않다

“누군가 100달러를 갖고 당신에게 10달러를 주겠다고 제안합니다. 당신은 이 제안을 받으시겠습니까?”

고전 게임 이론에 따르면 0보다 큰 어떤 제안도 수락하는 것이 합리적입니다. 하지만 현실은 다릅니다. 이 지점에서 행동경제학이 등장하여, 인간이 단순한 계산 기계가 아니라 공정성, 상호성, 이타심과 같은 **사회적 선호(social preferences)**에 따라 움직인다는 사실을 밝혀냈습니다.

실험실의 증거: 최후통첩 게임

• 설정: 제안자가 돈을 나눌 방법을 제안하고, 응답자는 수락 또는 거절할 수 있습니다. 거절하면 둘 다 아무것도 받지 못합니다.
• 현실: 총액의 20-30% 미만의 불공정한 제안은 대부분 거절당했습니다. 사람들은 불공정한 대우를 처벌하기 위해 기꺼이 자신의 이익을 포기합니다.

이는 개인의 경제적 계산에서는 ‘버그(bug)‘처럼 보이지만, **집단의 장기적 관점에서는 매우 중요한 ‘기능(feature)’**입니다. 불공정함에 분노하고 처벌하는 ‘비합리적’ 반응은 사회적 규범을 강제하고 신뢰를 구축하는 강력한 접착제 역할을 하기 때문입니다.

4. 롱 게임: 협력은 어떻게 진화하는가

정치학자 로버트 액설로드는 반복되는 죄수의 딜레마 컴퓨터 토너먼트를 통해 협력의 비밀을 풀고자 했습니다. 게임이 단판으로 끝나지 않고 계속 반복되면, **‘미래의 그림자(shadow of the future)’**가 현재의 결정에 영향을 미칩니다. 오늘의 행동이 내일의 평판이 되고 신뢰가 자산이 되는 것입니다.

토너먼트의 우승자는 가장 단순한 전략 중 하나인 **‘팃포탯(Tit-for-Tat, TFT)’**이었습니다.

1. 첫 수에는 무조건 협력한다.
2. 그 후에는 상대방이 바로 전에 한 행동을 그대로 따라 한다.

팃포탯의 성공 비결은 네 가지 특성에 있습니다.

• 관대함(Nice): 절대 먼저 배신하지 않는다.
• 보복성(Retaliatory): 배신은 즉시 응징하여 착취를 막는다.
• 용서(Forgiving): 상대가 협력으로 돌아오면 즉시 용서하여 관계를 회복한다.
• 명료성(Clear): 전략이 단순해 상대방이 협력하는 법을 빠르게 학습한다.

[독자적인 통찰 2] 팃포탯의 성공은 이 전략이 ‘착해서’가 아니라 ‘상호주의’ 원칙에 충실하기 때문입니다. 제 개인적인 경험으로도 비즈니스 협상에서 초반에 신뢰를 보이며 관대하게 접근하되, 상대가 약속을 어겼을 때는 단호하게 대응하고, 다시 성의를 보이면 관계를 복원하는 방식이 장기적으로 가장 좋은 결과를 낳았습니다. 협력은 천성이 아니라, 상호주의적 환경을 설계함으로써 만들어지는 창발적 속성입니다.

5. 무임승차자 길들이기: 처벌이라는 양날의 검

에른스트 페르의 공공재 게임 실험에서 ‘처벌’ 옵션을 도입하자 놀라운 결과가 나타났습니다. 사람들은 자신의 돈을 써가며 기여도가 낮은 참가자를 처벌했고(이타적 처벌), 그 결과 협력 수준이 100% 가까이 치솟았습니다.

하지만 이 이야기는 여기서 끝나지 않습니다. 전 세계 16개 도시에서 진행된 후속 연구에서는 일부 문화권에서 정반대 현상이 나타났습니다. 기여도가 높은 협력적인 사람을 공격하는 **‘반사회적 처벌(Antisocial Punishment)’**이 관찰된 것입니다. 이러한 현상은 시민 협력 규범이 약하고 법치에 대한 신뢰가 낮은 사회에서 두드러졌습니다.

비교: 협력을 유도하는 메커니즘

이는 처벌 시스템의 효과가 그것이 뿌리내린 문화적, 제도적 토양에 달려있음을 보여줍니다. 처벌 제도를 도입하기 전에 신뢰와 시민 협력이라는 근본적인 규범을 먼저 구축해야 합니다.

협력을 위한 시스템 설계 가이드

인간은 천사도 악마도 아닌 **‘조건부 협력자’**입니다. 우리의 본성을 바꾸려 하기보다, 협력을 이끌어내는 시스템을 설계하는 데 집중해야 합니다.

1. 미래의 그림자를 길게 드리우세요: 일회성 만남보다 장기적인 관계를 장려하여 오늘의 행동이 미래에 영향을 미치게 하세요.
2. 투명성을 높이고 익명성을 줄이세요: 누가 무엇을 했는지 명확히 보여주어 평판 시스템이 작동하게 하세요.
3. 소통을 촉진하세요: 간단한 대화만으로도 불신을 해소하고 협력의 기반을 다질 수 있습니다.
4. 보상과 처벌을 현명하게 사용하세요: 제재 시스템을 도입할 때는 그것이 공정하고 정당하다는 사회적 합의를 먼저 구축해야 합니다.

결론

• 핵심 요점 1: 죄수의 딜레마는 신뢰와 소통이 부재할 때 합리적인 개인이 집단에 해가 되는 결정을 내리는 ‘합리성의 함정’을 보여줍니다.
• 핵심 요점 2: 인간은 완전히 이기적이지 않으며, 공정성과 상호성에 대한 ‘비합리적’ 감정이 오히려 협력을 가능하게 하는 중요한 열쇠입니다.
• 핵심 요점 3: 성공적인 협력은 착한 사람을 찾는 것이 아니라, 팃포탯과 같은 상호주의적 전략이 번성할 수 있는 투명하고 장기적인 시스템을 설계하는 데 달려 있습니다.

결국 협력의 코드를 푸는 것은 인간 본성을 바꾸는 것이 아니라, 우리의 조건부 협력 성향이 긍정적으로 발현될 환경을 만드는 것입니다. 당신이 속한 조직이나 커뮤니티에서 협력을 가로막는 ‘게임의 규칙’은 무엇인가요? 그 규칙을 바꾸기 위해 오늘 당장 시도해볼 수 있는 작은 행동은 무엇일까요?