모양이 사라진 기하학

1881년 어느 날, 쿠탕스에서 버스에 오르던 앙리 푸앵카레는 발판에 발을 올리는 순간 한 가지 생각이 번개처럼 스쳤다. 몇 주째 씨름하던 푹스 함수의 문제가 비유클리드 기하학의 변환과 맞아떨어진다는 깨달음이었다. 그는 버스에서 내려 동료들과의 대화를 이어가면서도 그 생각이 틀림없다는 것을 알았다. 그에게 수학은 눈으로 보고 손으로 만지듯 느껴지는 공간의 감각이었다.

80년 뒤 알렉상드르 그로텐디크는 전혀 다른 방식으로 공간을 다뤘다. 그는 점도, 곡선도, 눈에 보이는 도형도 그리지 않았다. 대신 그 대상들을 구조와 관계로, 함수와 범주로 치환했다. 같은 “공간”이라는 단어를 썼지만 두 사람이 그 단어로 가리킨 것은 거의 상반된 세계였다. 한 사람은 공간을 눈앞에 그려 보였고, 다른 한 사람은 그 그림 자체를 지워버렸다.

푸앵카레 — 손끝으로 공간을 매만지다

앙리 푸앵카레는 천체역학, 미분방정식, 수리물리학을 넘나든 19세기 마지막 보편 수학자였다. 삼체문제를 연구하며 그는 궤도의 정확한 공식을 구하는 대신 그 질적인 행동 — 안정적인가, 혼돈스러운가, 어떤 경로로 휘어지는가 — 를 묻는 새로운 방법을 발명했다. 이 질적 접근이 그를 “위치 해석학(analysis situs)”이라 부른 분야로 이끌었다. 오늘날 위상수학이라 불리는 학문의 출발점이었다.

위상수학에서 도넛과 커피잔은 같은 도형이다. 구부리고 늘여서 하나를 다른 하나로 바꿀 수 있기 때문이다. 푸앵카레는 이런 식으로 공간을 사유했다 — 자르지 않고 늘이고 구부릴 수 있는 고무판처럼. 1904년 그는 질문 하나를 남겼다. 단순 연결된 닫힌 3차원 공간은 반드시 3차원 구와 같은 모양인가? 이 질문은 “푸앵카레 추측”이라는 이름으로 한 세기 동안 수학자들을 괴롭혔다.

“논리는 이 길에서 장애물을 만나지 않을 것이라 가르쳐 줄 뿐, 목표에 이르는 길이 어느 것인지는 알려주지 않는다. 멀리서 목표를 보게 해주는 것, 그것이 직관이다.”
— 앙리 푸앵카레

푸앵카레는 수학적 발견이 의식 아래에서 무의식적으로 숙성된다고 믿었다. 그의 에세이 「수학적 창조」에서 그는 버스 발판 위의 그 순간을 이렇게 회고했다 — 몇 주간 쌓아 올린 생각들이 어느 순간 저절로 맞아 들어갔다고. 그에게 공간은 추상적 기호가 아니라 눈으로 보고 머릿속에서 돌려 볼 수 있는 살아 있는 형태였다.

그로텐디크 — 형태를 지우고 구조만 남기다

알렉상드르 그로텐디크는 아나키스트 부모 밑에서 태어나 국적도 없이 자랐다. 전쟁 중 부모와 떨어져 수용소를 거친 그는 낭시에서 뒤도네와 슈바르츠 밑에서 함수해석학을 공부했고, 지도교수가 건넨 미해결 문제 열네 개를 혼자서 모두 풀어버렸다. 그러나 그의 진짜 혁명은 대수기하학으로 자리를 옮긴 뒤에 시작되었다.

그는 점, 곡선, 표면이라는 눈에 보이는 대상 대신 환(ring)과 함자 (functor)라는 순수한 구조로 기하학을 다시 지었다. 이른바 “스킴(scheme)” 이론이다. 어떤 공간을 이해하기 위해 그는 그 공간을 그리지 않았다. 대신 그 공간이 다른 모든 대상과 맺는 관계의 총체로 정의했다. 1960년대 그가 동료들과 함께 써낸 『대수기하학의 원리(EGA)』와 세미나 기록 『SGA』는 수천 페이지에 달하는 새로운 기초였다.

한 강연에서 구체적인 소수 하나를 예로 들어 보라는 요청을 받았을 때, 그는 57을 꼽았다 — 사실은 3과 19의 곱인 합성수였다. 청중은 웃었지만 그 일화는 그를 정확히 설명한다. 그에게 중요한 것은 개별 숫자나 도형의 구체성이 아니라 그것들이 속한 구조 전체였다. 사람들은 이후 57을 “그로텐디크 소수”라 부르며 농담 삼아 기념했다.

“어떤 사람들은 망치와 끌로 호두를 단번에 깨뜨리려 한다. 나의 방식은 다르다 — 호두를 바닷물 속에 담가 두고, 물이 서서히 차오르게 하는 것이다. 어느 날, 껍질은 저항 없이 그저 풀어진다.”
— 알렉상드르 그로텐디크, “차오르는 바다”의 방법에 대하여