전략적 사고의 발명가들

체스 선수는 상대의 다음 수를 생각하며 자신의 수를 둔다. 하지만 경제학은 오랫동안 그런 상호 추론을 다룰 언어가 없었다. 한 사람은 제로섬 대결을 증명 가능한 수학으로 바꾸었고, 다른 한 사람은 그 수학을 협력과 경쟁이 뒤섞인 모든 상황으로 넓혔으며, 또 다른 한 사람은 그 추상적인 균형을 핵전쟁의 공포와 인종 분리의 지도 위에 옮겨 놓았다.

존 폰 노이만, 존 내시, 토머스 셸링. 세 사람은 같은 질문 — “ 서로의 선택이 서로에게 영향을 미칠 때, 합리적인 행위자는 어떻게 행동해야 하는가” — 을 서로 다른 판 위에서 풀었다. 폰 노이만은 체스판 위에서, 내시는 백지 위의 방정식에서, 셸링은 냉전의 지도 위에서 각자의 답을 찾았다. 둘은 노벨 경제학상을 받았고(내시 1994, 셸링 2005), 폰 노이만은 그 상이 생기기도 전에 이미 게임 이론이라는 학문 자체를 발명해 놓았다.

폰 노이만: 포커에서 수학을 끌어낸 사람

폰 노이만은 룰렛이나 주사위 같은 순수한 확률 게임에는 흥미가 없었다. 그를 사로잡은 것은 포커였다. 포커에는 운만으로 설명되지 않는 요소 — 블러핑, 즉 상대를 속이기 위한 의도된 거짓 신호가 있었다. 그는 상대가 내 블러핑을 알아채리라는 것까지 계산에 넣고 행동하는 이 상호적 추론을 수학으로 포착할 방법을 찾기 시작했다. 1928년 그는 두 사람이 정반대의 이익을 놓고 다투는 제로섬 게임에서, 양쪽 모두 상대의 최선의 대응을 가정하고도 더 나아질 수 없는 지점이 반드시 존재한다는 ‘미니맥스 정리’를 증명했다.

이 통찰은 1944년 경제학자 오스카 모르겐슈테른과 함께 쓴 『게임과 경제 행동의 이론』으로 완성되었다. 600쪽이 넘는 이 책은 경제학에 처음으로 전략적 상호작용이라는 개념을 수학적으로 도입했다. 제2차 세계대전 중 폰 노이만은 맨해튼 프로젝트에 참여해 핵폭탄의 내폭 렌즈를 설계하는 동시에, 게임 이론을 냉전 초기 핵전략 — 상호 확증파괴의 논리 — 을 분석하는 도구로 발전시켰다. 그에게 체스와 전쟁과 포커는 본질적으로 같은 구조를 가진 문제였다.

“실제 삶은 포커지, 체스가 아니다. 눈속임과 작은 거짓말이 끊임없이 필요하고, 그것들이 사소한 전술이 아니라 게임의 본질이다.”
— 존 폰 노이만 (레온 지네르 인용, 1950년대 회고)

폰 노이만의 체계는 강력했지만 한계가 있었다. 미니맥스 정리는 한쪽이 이기면 다른 쪽이 정확히 그만큼 잃는 제로섬 게임에만 적용되었다. 현실의 거의 모든 상호작용 — 가격 경쟁, 군비 경쟁, 심지어 부부 싸움 — 은 그렇게 깨끗하게 대립하지 않는다. 그 틈을 채울 사람은 프린스턴의 한 대학원생이었다.

내시: 27쪽짜리 논문이 바꾼 균형의 정의

1950년, 22세의 박사과정생 존 내시는 지도교수 앨버트 터커에게 27쪽 분량의 논문을 제출했다. 분량은 짧았지만 그 안에는 경제학의 풍경을 바꿀 개념이 담겨 있었다. 내시는 제로섬이라는 제약을 걷어내고, 두 명 이상의 참가자가 협력하지 않은 채 각자 전략을 선택하는 모든 상황에서 — 누구도 혼자서 전략을 바꿔 더 나아질 수 없는 상태가 적어도 하나 존재한다는 것을 증명했다. 이것이 오늘날 ‘내시 균형’이라 불리는 개념이다.

수학적으로 내시는 폰 노이만과 모르겐슈테른이 쓰지 않았던 도구 — 부동점 정리(위상수학)를 사용해 이 균형의 존재를 증명했다. 그 덕분에 게임 이론은 체스나 포커 같은 순수 대결을 넘어, 기업의 가격 경쟁, 경매, 교통 혼잡, 심지어 진화적 선택까지 설명할 수 있는 일반 이론이 되었다. 내시 균형은 지금도 경제학 교과서 첫 장에 등장하는, 가장 널리 쓰이는 단일 개념일 것이다.

“합리성이란 상대도 합리적이라는 것을 아는 상태에서, 그 상대의 최선의 수에 대한 나의 최선의 수를 찾는 것이다.”
— 존 내시, 박사 논문 “Non-Cooperative Games” (1950) 요지

내시의 삶은 그의 이론만큼 유명해졌다. 1959년부터 조현병 진단을 받고 수십 년간 프린스턴 교정을 떠도는 ‘유령’으로 불리던 그는, 1990년대 병세가 가라앉으면서 1994년 라인하르트 젤텐, 존 하사니와 함께 노벨 경제학상을 받았다. 그의 생애는 실비아 네이사의 평전과 영화 《뷰티풀 마인드》로 널리 알려졌지만, 영화가 그린 낭만적인 장면들 — 바에서 균형을 발견하는 순간 같은 — 은 실제로는 그가 수학으로 풀어낸 증명의 엄밀함을 충분히 담지 못했다.

셸링: 수학을 현실의 협상 테이블로 끌어온 사람

폰 노이만과 내시가 수학자였다면, 토머스 셸링은 정치학과 경제학을 넘나드는 전략가였다. 그는 1960년 『갈등의 전략』에서 수학적 증명이 아닌 사고실험으로 게임 이론을 다시 썼다. 유명한 예가 ‘초점점 (focal point)’이다. 서로 연락할 수 없는 두 사람에게 “뉴욕에서 만나라”고만 말하면, 대부분은 약속 없이도 그랜드 센트럴역 정오를 선택한다. 순수한 수학적 균형은 무한히 많지만, 사람들은 관습과 상징을 통해 특정한 한 지점으로 저절로 수렴한다는 것이다.

셸링의 더 섬뜩한 통찰은 ‘신뢰할 수 있는 위협’이었다. 그는 핵전략을 연구하며, 위협이 효과를 가지려면 상대가 그것을 실행 가능하다고 믿어야 한다는 점을 보였다. 다리를 불태워 퇴로를 없애거나, 상황을 ‘우연에 맡기는’ 장치를 일부러 설계해 스스로의 선택권을 줄이는 것이 오히려 협상력을 높일 수 있다는 역설이다. 이 논리는 냉전기 미국과 소련의 핵억지 전략에 실제로 반영되었다. 그는 또한 거주지 분리 모델을 통해, 개인이 아주 약한 선호 — 이웃의 몇 %가 같은 집단이면 좋겠다는 정도 — 만 가져도 도시 전체가 완전히 분리될 수 있음을 체커판 시뮬레이션으로 보여주었다.

“전략의 핵심은 상대가 당신의 위협을 믿게 만드는 것이다 — 때로는 당신 자신의 선택권을 스스로 없애버리는 것이 가장 강력한 전략이 된다.”
— 토머스 셸링, 『갈등의 전략』 (1960)

셸링은 수학 증명을 거의 쓰지 않았다. 그래서 1970~80년대 일부 경제학자들은 그의 작업을 “게임 이론이라기엔 너무 느슨하다”고 평했다. 그러나 2005년 노벨위원회는 그에게 로버트 아우만과 함께 상을 수여하며, 그의 비형식적 통찰이 실제 외교·군사 정책에 미친 영향을 추상적 증명보다 더 높게 평가했다.