기자명 성대신문 (webmaster@skkuw.com)

어린아이들이 손가락을 들어 자기 나이를 말하는 것에서부터 인간을 달로 쏘아보내기까지 우리가 접하는 모든 것에는 수학이 함께 있다. 흔히 중, 고등학교 때 하던 2차 방정식을 풀거나 확률을 구하는 등의 따분한 계산들의 반복이 수학의 모든 것은 아니다. 오히려 『골드바흐의 추측』에서는 "수학은 우리가 아는 것 보다 훨씬 흥미진진하다. 수학자들은 개념의 낙원, 요컨대 수학을 모르는 보통 사람들로서는 도저히 접근할 수 없는 장엄한 시적인 세계에서 산다"라고 말한다.

수학의 완전성

기존의 자연수의 틀 안에서 완전한 수학을 추구하던 초기 수학자들은 많은 연산을 통해 음수를 비롯 분수나 제곱근, 무리수 같은 더욱 복잡한 수를 인정해야 하는 문제에 부딪히게 된다. 수학은 언제나 완전해야한다는 믿음이 확고했기 때문에 예정에 없던 자연수 이외의 수가 등장하자 수학은 그런 수들을 포함 할 수밖에 없었다. 이렇게 완전을 추구하는 수학은 그런 이유에서 증명과정이 과학의 증명 과정과는 다른 성격을 띄기도 한다.

쉬운 예로, '사람은 누구나 죽는다'는 간단한 가정을 증명하기 위한 방법은 관측한 모든 결과와 반박의 현상들이 나타났는지를 지켜보는 일이 전부다. 이때 실험이란 과정은 검증의 단계로, 실험의 결과와 가정이 잘 맞아떨어질 경우 가정의 진실성은 더욱 높아진다. 하지만 '소수는 무한하다'란 간단한 수학적 가정을 증명하기 위해서는 과학의 증명 방법처럼 발견된 소수를 계속 나열하면서 증거를 확보하는 일은 아무런 의미를 갖지 못한다. 이런 경우 일반적으로 소수가 무한할 수밖에 없음을 증명할 수 있어야 이 추론은 정리, 즉 하나의 이론으로 인정받게 된다.

수학은 이렇게 기본적인 증명을 발판으로 그 위에 쌓여 가는 이론들이 어마어마하기 때문에 기초 이론들의 증명에 반박의 여지가 조금이라도 남아있다면 그 위에 쌓인 방대한 이론들은 한 순간에 쓰러질 수밖에 없다.

『페르마의 마지막 정리』를 통해 본 난제의 성격

이렇게 완전성을 추구하는 수학에서도 종종 증명하기 어려운 추론들이 등장하는데 수 십년이 지나도 증명되지 않는 이런 문제들을 수학의 난제라고 한다. 난제는 퍼즐부터 통계학까지 광범위하게 등장한다. 그 중에는 많고 넓은 수학적 이론이 필요해 해결한 후 많은 분야의 발전을 도와주는 경우와 한 두 분야의 지식으로 해결되고 아무 의미 없이 끝나는 난제들이 있다. 후자의 경우 '아무도 풀지 못한 문제'라는 점에서 호기심을 자극할 수는 있지만 그 영향력은 약하다. 하지만 전자의 경우는 도전하기는 어렵지만 막대한 영향력을 학문에 던져줄 수 있는 힘을 가지고 있다.

대표적으로 학문의 발전에 큰 영향력을 준 난제 중 하나가 '페르마의 마지막 정리'이다. 이 난제는 최근 앤드류 와일즈에 의해 증명돼 더욱 이목을 끌고 있는 정리인데, 난제의 증명방법에는 고대 수학부터 현대수학에 이르기까지 수학의 거의 모든 지식이 사용됐다.

17세기의 페르마는 단 한 줄의 힌트도 없이 자신이 고안한 수많은 증명문제들을 던져놓고 갔다. 그가 죽은 후 다수 문제는 몇 년을 사이에 두고 증명됐지만 단 한 문제만이 끝까지 풀리지 않는 난제로 남았다가 350년만인 1997년에 풀렸다.

그 마지막 문제였던 페르마의 마지막 정리는 간단하지만 그 해결은 결코 간단하지 않았다. 이 문제를 잘 변형시키면 타니야마 추론과 일치하게 되는데, 이는 타니야마 추론이 증명되면 자연히 페르마의 마지막 정리가 증명됨을 말해준다. 그런데 이 추론은 다양한 수학에서 전혀 다른 분야를 연결할 수 있다는 가능성을 보여준 아주 중요한 추론이다. 심지어 추론이 증명되기 전부터 추론이 옳다는 것을 전제로 한 영향력을 그린 논문도 수천개나 발표될 정도였다. 따라서 타니야마 추론이 페르마의 마지막 정리와 함께 완벽히 증명됐을 때의 영향력은 불 보듯 뻔한 일이었다.

풀리지 않은 난제의 역할

그렇다고 해서 350년 간 페르마의 마지막 정리가 증명되기까지 이 문제에 도전한 수많은 수학자들이 아무런 역할도 하지 못한 채 역사 속으로 묻혀 지는 것은 아니다. 그들은 이 문제를 풀기 위해 필요한 그 시대의 거의 모든 지식을 섭렵했기 때문에 문제는 풀지 못했지만 그 사이에서 새롭게 나온 이론들은 수학사에서 아주 큰 자리를 차지한다. 이런 경우의 대표적인 사례는 19세기 에바리스트 갈루아가 5차 방정식을 연구하던 중 발견한 유한군 이론이다.

이처럼 난제는 해결됨으로서 뒤따르는 많은 수학적 발전은 물론, 해결되지 않더라도 풀어가는 과정에서 학문의 발전에 많은 효과를 주게된다. 난제들에 도전하는 수학자들은 중간성과를 발표하게 되는데 중간성과란 그 문제를 풀기 위해 중간과정으로 고안한 새로운 이론이나 연구결과들을 말한다. 그 중간성과는 수학의 발전에 상당수 많은 기여를 한다. 이 때문에 '리만의 가설'이나 '페르마의 마지막 정리', 그리고 '골드바흐의 추측'같은 많은 난제들은 수학자들 사이에서 '황금 알을 낳는 거위'라고 여겨지기까지 했다.

수학사에서 난제들은 그 자체보다 주변 학문까지 발전시키는 역할을 했다. 결코 우리 시대에서 난제는 풀려지지 않는 문제가 아니다. 난제는 새로운 학문의 발전을 부르는 동기를 제공하는 샘인 것이다.

송진향 기자
frompluto@skku.edu