여백에 쓴 메모 한 줄이 350년 넘게 수학자들을 괴롭힐 수 있다면, 그것은 숫자가 단순한 셈의 도구가 아니라는 뜻이다. 정수론은 가장 단순한 대상 — 1, 2, 3 — 을 다루면서도 가장 집요한 질문을 던지는 분야다. 페르마는 그 질문을 던졌고, 오일러는 그 질문들을 풀어나갔으며, 가우스는 그 흩어진 풀이들을 하나의 체계로 묶어 정수론을 독립된 학문으로 세웠다.
세 사람 사이에는 직접적인 만남이 없다. 페르마는 17세기 프랑스의 재판관이었고, 오일러는 18세기 상트페테르부르크와 베를린을 오간 스위스인이었으며, 가우스는 19세기 독일의 괴팅겐을 떠나지 않았다. 하지만 오일러는 페르마가 남긴 메모들을 하나씩 파헤쳐 증명했고, 가우스는 그 결과들을 재료로 삼아 정수론 전체를 다시 설계했다. 한 세기 반에 걸쳐 이어진, 만난 적 없는 세 사람의 공동 작업이다.
페르마: 여백에 남긴 수수께끼
피에르 드 페르마는 수학자가 아니었다. 그는 프랑스 툴루즈의 지방 법원에서 평생을 보낸 재판관이었다. 수학은 그에게 직업이 아니라 밤의 취미였고, 논문을 거의 출판하지 않았다. 그가 남긴 것은 책의 여백에 휘갈긴 메모, 동료들과 주고받은 편지 속 단언들뿐이었다. 그런데도 그는 근대 정수론의 문을 연 사람으로 불린다.
“나는 참으로 놀라운 증명을 발견했으나, 이 여백은 그것을 적기에 너무 좁다.”
1637년경 페르마가 디오판토스의 『산술』 한 귀퉁이에 적은 이 문장은 수학사에서 가장 유명한 낙서가 되었다. 그가 증명했다고 주장한 명제 — n이 3 이상의 정수일 때 xⁿ + yⁿ = zⁿ을 만족하는 양의 정수 x, y, z는 존재하지 않는다 — 는 이후 페르마의 마지막 정리로 불리며 358년간 증명되지 않았다. 앤드루 와일스가 1994년 타원곡선과 모듈러 형식이라는 20세기 수학의 거대한 장비를 동원해서야 겨우 닫을 수 있었던 문이었다.
페르마는 증명을 즐기기보다 명제를 던지는 쪽을 즐겼다. 소수를 4로 나눈 나머지가 1이면 두 제곱수의 합으로 나타낼 수 있다는 것, 완전수와 소수의 관계, 그가 “페르마 수”라 부른 2^(2ⁿ)+1 형태의 수들이 모두 소수라는 추측(오일러가 훗날 틀렸음을 증명했다) — 그는 질문을 흩뿌려 놓고 떠났고, 다음 세대가 그것을 주워 들었다.
오일러: 메모를 증명으로 바꾼 사람
페르마가 죽고 한 세대가 지날 때까지 그의 메모들은 대부분 증명되지 않은 채 남아 있었다. 레온하르트 오일러는 이 메모들을 하나씩 끌어내 정식 증명으로 바꾼 첫 번째 인물이다. 그는 페르마가 틀렸다는 것도, 옳았다는 것도 똑같이 꼼꼼하게 밝혔다 — 페르마 수 추측의 반례로 F5 = 2³² + 1 = 4294967297 = 641 × 6700417을 찾아낸 것도 오일러였다.
오일러가 정수론에 남긴 가장 깊은 유산은 오일러 피 함수와 그 확장인 오일러의 정리다. 그는 페르마가 제시했던 소수 관련 명제, 흔히 “페르마의 소정리”라 불리는 성질을 합성수로 일반화했다. 이 작업은 1970년대 RSA 암호 알고리즘의 수학적 토대가 되었다. 재판관의 여백 메모가 300년 뒤 인터넷 보안의 근간이 될 줄은, 페르마도 오일러도 알지 못했다.
오일러는 또한 페르마가 던진 또 다른 질문 — 두 제곱수의 합으로 나타낼 수 있는 수의 조건 — 을 완전히 증명했고, 이차 상호법칙의 초기 형태를 발견했다. 하지만 그 법칙을 완전하고 엄밀하게 증명하는 일은 다음 세대의 손에 남겨졌다.
가우스: 흩어진 결과를 체계로 세운 사람
1801년, 24세의 카를 프리드리히 가우스는 『산술 연구(Disquisitiones Arithmeticae)』를 출판했다. 페르마와 오일러가 100년 넘게 편지와 여백과 산발적인 논문으로 쌓아온 결과들을 가우스는 단 한 권의 책 안에서 하나의 언어로 통일했다. 그 언어가 바로 모듈러 산술, 합동식 a ≡ b (mod n)이라는 표기법이다.
“수학은 과학의 여왕이고, 정수론은 수학의 여왕이다.”
가우스는 오일러가 증명하지 못한 채 남겨둔 이차 상호법칙을 완전하게 증명했다. 그는 이 정리를 “황금 정리”라 부르며 평생 여덟 가지 서로 다른 증명을 찾아냈다 — 하나의 정리를 여덟 번 다시 증명한다는 것은, 완벽을 향한 그의 성향을 보여주는 동시에 정수론이라는 분야 자체에 대한 애착을 보여준다.
19살의 가우스가 자와 컴퍼스만으로 정17각형을 작도할 수 있음을 증명한 것도 같은 뿌리에서 나왔다. 어떤 정다각형이 작도 가능한지는 결국 페르마 수와 연결된 정수론의 문제였다. 2000년 동안 풀리지 않았던 고전 기하학의 질문이, 재판관의 여백 메모와 같은 수의 가족 안에서 답을 찾은 것이다.
가우스가 세운 체계는 이후 쿠머, 디리클레, 데데킨트를 거쳐 현대 대수적 정수론으로 이어졌고, 끝내 와일스가 페르마의 마지막 정리를 닫는 데 쓰인 도구들의 먼 뿌리가 되었다. 메모에서 시작된 질문이 체계를 거쳐 증명으로 완결되기까지, 정확히 358년이 걸린 것이다.
질문, 증명, 체계
페르마, 오일러, 가우스는 정수론이라는 하나의 산을 서로 다른 역할로 올랐다. 페르마는 산의 입구마다 깃발을 꽂아 두었고 — 증명 없이, 직관만으로. 오일러는 그 깃발들을 하나씩 찾아가 실제로 그 자리까지 길을 뚫었다. 그리고 가우스는 그 모든 길을 지도 위에 올려 하나의 체계로 엮었다. 질문을 던진 자, 풀어낸 자, 체계를 세운 자 — 세 단계가 없었다면 정수론은 지금과 같은 모습으로 존재하지 않았을 것이다.
흥미로운 것은 이 흐름이 끝나지 않았다는 점이다. 가우스가 세운 모듈러 산술은 오늘날 암호학의 기본 언어가 되었고, 그 뿌리에는 오일러가 일반화한 페르마의 정리가 있다. 17세기 재판관의 심심풀이 메모가 21세기 스마트폰의 보안을 지탱하고 있는 셈이다. 수학은 때로 가장 쓸모없어 보이는 자리에서 가장 멀리까지 걸어간다.
페르마가 여백에 남긴 한 줄의 메모는 답이 아니라 질문이었다. 그리고 그 질문에 완전히 답하기까지 세 사람, 세 세기가 걸렸다. 어쩌면 정수론이 가르쳐주는 가장 중요한 사실은 이것이다 — 가장 단순해 보이는 숫자 안에도, 세대를 건너 전해질 만큼 깊은 우주가 있다는 것.
더 읽어볼 책
- 페르마: 사이먼 싱 『페르마의 마지막 정리』 — 358년에 걸친 증명 추적기를 대중적으로 풀어낸 고전
- 오일러: 윌리엄 던햄 『오일러: 수학의 달인』 — 오일러의 주요 증명들을 현대적으로 재구성한 수학 교양서
- 가우스: G. 왈도 더넌 『카를 프리드리히 가우스』 — 수학의 왕자의 삶과 업적을 체계적으로 정리한 전기