죄수의 딜레마 : 파레토 최적과 내쉬 균형

[특수요원]

■ 죄수의 딜레마 : 파레토 최적과 내쉬 균형

검사에게 개별적으로 심문을 받는 두 죄수를 생각해보자. 그들 각자의 목표는 자신의 형량을 최소화하는 것이라고 가정하자. 그리고 그들이 자백하거나 침묵하는 경우에 따라 형량이 다음과 같이 정해진다고 하자.

구분		제2죄수
		침묵	자백
제1죄수	침묵	1년, 1년	10년, 0년	: 내쉬균형 : 파레토최적
	자백	0년, 10년	5년, 5년

위에서 각 죄수는 상대방이 자백하건 침묵하건 자백하는 것이 합리적이다. 하지만 그래서 둘 다 자백하게 되면 오히려 둘 다 침묵하는 것(1년, 1년)보다 나쁜 결과(5년, 5년)가 나온다. 이러한 상황이 바로 ‘죄수의 딜레마(Prisoner’s dilemma)’이다.

‘죄수의 딜레마’하면 빠질 수 없는 사람이 있다. 바로 게임이론(Game theory)으로 노벨 경제학상을 받은 천재 수학자 내쉬(J.F. Nash)다. 그가 생각해 낸 중요한 개념으로 ‘내쉬균형(Nash equilibrium)’이 있다. 내쉬균형이란 “상대방이 그 상태를 유지할 경우 누구도 거기서 이탈하고 싶지 않은 안정된 상태”를 의미한다. 내쉬균형은 ‘비협조적 게임’에서 모든 선수가 타인의 전략을 주어진 것으로 보고 자신의 이익을 극대화하는 전략을 택함으로써 도달하는 상태이다. 죄수의 딜레마 게임에서 내쉬균형은 (자백, 자백)뿐이다. 왜냐하면 죄수2가 자백을 유지할 경우 죄수1이 거기서 이탈하는 것은 침묵하는 것인데 그러면 형량만 늘어나기 때문에(5년→10년) 죄수1은 이탈하고 싶지 않을 것이다. 그리고 이것은 죄수2에 대해서도 똑같이 성립한다. 한편, (침묵, 침묵), (자백, 침묵), (침묵, 자백)은 내쉬균형이 아니다. 이것을 보이는 것은 여러분에게 연습문제로 남기겠다.

이제 ‘파레토 최적(Pareto optimal)’ 개념을 살펴보자. 파레토 최적은 경제학에서 자원배분의 효율성을 규정하는 대표적인 개념이다. 간단히 말해 파레토 최적은 “다른 사람의 이익을 감소시키지 않고서는 어느 한 사람의 이익을 증가시키는 것이 불가능할 정도로 자원이 가장 효율적으로 배분된 상태”를 가리킨다. 위의 죄수의 딜레마 상황에서 파레토 최적은 (5년, 5년)을 제외한 나머지 3개 상태다. (5년, 5년)이 파레토 최적이 아닌 이유는 둘 다에게 이익이 되는 상태인 (1년, 1년)이 가능하기 때문이다. 하지만 (1년, 1년), (0년, 10년), (10년, 0년)은 파레토 최적이다. 한쪽의 이익을 감소시키지 않고서는 다른 한쪽의 이익을 증가시킬 수 없기 때문이다. 이것을 따져보는 것은 여러분의 몫으로 남기겠다.

애덤 스미스는『국부론』에서 각자가 “자기 자신의 이익을 추구하면, 종종 그 자신이

  진실로 사회의 이익을 증진시키려고 의도하는 경우보다 더욱 효과적으로 그것을 증진시킬 수 있다”고 말했다. 하지만 내쉬균형 이론에 따르면 죄수의 딜레마 상황에서 각자가 자신의 이익을 추구함으로써 도달하게 되는 균형점은 파레토 최적이 아닌, 따라서 비효율적인 상태다. 내쉬균형 이론은  시장에서 ‘보이지 않는 손’이 실패할 수도 있다는 사실을 논리적으로 보여주고 있다.

존 내쉬 (J.F. Nash) 프린스턴대  수학과 교수

영화 <뷰티풀 마인드(Beautiful Mind)>에서 내쉬는 친구들과 술집에 간다. 거기서 일행은 금발의 미녀를 보고 모두 넋을 잃는다. 한 친구가 “애덤 스미스는 개인이 이기적으로 자신의 이익을 추구하면 그게 공공의 이익을 극대화하는 길이라고 했어. 각자 미인을 차지하기 위해 노력하자.”라고 한다. 그러자 내쉬가 반박한다. “우리 모두가 그녀를 놓고 쟁탈전을 벌이면 아무도 그녀를 차지하지 못해. 그녀는 그 누구도 가까이 하지 않을거야. 그녀의 친구들이 기분이 상하기 때문이지. 우리가 한 사람을 놓고 싸울수록 누구도 승자가 되지 못하는 최악의 결과가 나오는 거야.” 내쉬는 그날 밤 27쪽 짜리 논문을 작성하는데 내쉬균형 이론은 이렇게 해서 탄생한다.