확률로 세상을 읽다

1911년, 유니버시티 칼리지 런던의 한 강의실에서 칼 피어슨은 생물측정학이라는 새로운 과학을 가르치고 있었다. 키와 몸무게, 두개골 길이 같은 생물학적 변이를 숫자로 환원하고 그 분포를 곡선으로 그려내는 작업이었다. 같은 시기, 케임브리지를 갓 졸업한 젊은 로널드 피셔는 피어슨의 방법에 깊이 매료되어 있었다. 그러나 두 사람의 관계는 존경에서 출발해 공개적인 결투로 끝났다. 통계학이라는 학문 전체의 기틀이 그 다툼 속에서 다시 짜였다.

피어슨은 통계를 과학적 추론의 보편적 언어로 세우려 한 창시자였고, 피셔는 그 언어의 문법 자체를 다시 써야 한다고 믿은 혁신가였다. 그리고 두 사람 사이, 폴란드에서 건너온 예르지 네이만은 제3의 길을 열었다 — 가설을 검증하는 행위를 장기적으로 반복되는 의사결정의 절차로 재정의한 것이다. 세 사람이 쌓아 올린 세 개의 층은 오늘날 우리가 신약의 효과를 판단하고, 여론조사의 오차범위를 읽고, 데이터로 세상을 설명하는 모든 방식의 밑바닥에 깔려 있다.

피어슨 — 변이를 측정하는 과학을 세우다

칼 피어슨은 원래 수리물리학과 법학을 공부했지만, 다윈의 사촌 프랜시스 골턴이 개척한 생물측정학에 매료되며 진로를 바꾸었다. 골턴이 처음 관찰한 “평균으로의 회귀” 현상을 피어슨은 엄밀한 수학으로 정식화했다. 두 변수가 함께 변하는 정도를 하나의 숫자로 압축하는 상관계수(correlation coefficient)는 오늘날에도 그의 이름이 거의 언급되지 않을 만큼 통계학의 기본 어휘가 되었다.

1900년 그는 또 하나의 발명품을 세상에 내놓았다. 관찰된 데이터가 특정한 이론적 분포를 따르는지 검증하는 카이제곱 검정(chi-squared test)이었다. 이 검정은 유전학자가 멘델의 법칙을 확인하거나, 여론조사 기관이 응답 분포의 편향을 점검하는 등 지금도 가장 널리 쓰이는 통계 도구 가운데 하나로 남아 있다. 피어슨은 생물측정학 연구소를 세우고 《바이오메트리카》라는 학술지를 창간하며, 통계학을 독립된 학문 분야로 조직한 최초의 인물이 되었다.

“통계학의 문법을 모르는 과학자는 미래의 문맹자가 될 것이다.”
— 칼 피어슨, 『과학의 문법』

그러나 피어슨에게는 맹점이 있었다. 그는 자신이 만든 곡선 체계와 적합도 검정이 거의 모든 생물학적 변이를 설명할 수 있다고 믿었고, 그 믿음을 지키는 데 있어 완고했다. 그가 세운 생물측정학 학파는 이후 젊은 피셔가 던진 질문들 앞에서 가장 격렬하게 저항한 바로 그 진영이 되었다.

피셔 — 작은 농장에서 시작된 혁명

로널드 피셔는 1919년, 영국 하펜던의 로담스테드 농업연구소에 통계학자로 부임했다. 수십 년에 걸쳐 쌓인 비료 실험 데이터 더미를 정리하는 자리였다. 바로 이 흙투성이 실험 기록 속에서 그는 현대 통계학의 핵심 도구들을 하나씩 발명했다. 변동의 원인을 여러 항목 으로 쪼개어 비교하는 분산분석(ANOVA), 적은 관측값으로도 처리 효과를 비교할 수 있게 한 소표본 이론, 그리고 실험 설계 자체에 무작위 배치와 반복을 심어 넣는 원칙들이었다.

피셔는 또한 추정량이 얼마나 많은 정보를 데이터에서 뽑아내는지를 측정하는 최대우도법(maximum likelihood)을 정립했다. 이는 단순한 계산 기법이 아니라, “주어진 데이터 아래 어떤 모수가 가장 그럴듯한가”라는 질문 자체를 수학적으로 번역하는 틀이었다. 1925년 출간된 『연구자를 위한 통계적 방법』은 수십 년간 전 세계 실험실의 책상 위에 놓인 실무 지침서가 되었다.

“실험을 마친 뒤 통계학자를 부르는 것은, 종종 그에게 부검을 부탁하는 것과 다름없다. 그는 실험이 왜 죽었는지 말해줄 수 있을 뿐이다.”
— 로널드 피셔

피셔는 1922년 피어슨의 카이제곱 검정에서 자유도 계산의 오류를 발견해 논문으로 지적했다. 피어슨은 이를 인정하지 않고 자신이 편집하던 《바이오메트리카》에 피셔의 반박을 싣는 것조차 거부했다. 두 사람은 이후 20년 가까이 서로의 이름을 직접 언급하지 않으면서 제자와 지지자들을 통해 대리전을 치렀다. 피셔가 유의성 검정을 “증거의 강도를 재는 저울”로 보았던 반면, 피어슨의 생물측정학파는 자신들이 세운 곡선 체계가 흔들리는 것을 받아들이지 못했다.