소수에 매혹당한 수학자들의 역사, 리만 가설

리만 가설, 소수정리보다 강력한 규칙성
리만제타함수의 해, 원자핵 에너지와의 연관성 찾아

소수의 특징을 찾아서
리만 가설은 한마디로 정리하면 ‘소수의 분포에 관한 추측’이다. 소수는 ‘1과 자기 자신만으로 나눠떨어지는 1보다 큰 양의 정수’를 뜻한다. 독일의 수학자 게오르크 프리드리히 베른하르트 리만이 「주어진 수보다 작은 소수의 개수에 관하여」라는 논문에서 이를 설명했다. 이 논문에서 리만은 ‘리만제타함수의 자명하지 않은 근의 실수부는 1/2’이라는 ‘리만 가설’을 제시했다.

소수의 개수와 규칙성에 관한 연구는 이전부터 활발하게 진행돼 왔다. 일련의 연구 중 스위스의 수학자 레온하르트 오일러는 제타함수를 이용해 소수의 개수가 무한함을 증명했다. 제타함수란 식 ⓐ 로 표현되는 바젤 문제의 확장 형태로 지수에 2 대신 s를 대입한 함수이다. 그는 오일러 곱을 통해 제타함수와 소수 분포와의 연관성을 보였다. 모든 수는 소인수분해가 가능하므로 제타함수는 ⓑ와 같이 변형될 수 있다. ⓒ를 거쳐 ⓓ 와 같이 각 소수 거듭제곱의 합으로 인수분해 되며, 이를 등비급수의 합을 구하는 식을 이용하면 ⓔ 와 같이 소수로 표현된다. 이를 오일러 곱이라고 한다. 여기서 그는 소수 개수의 무한함을 설명했다. s가 1일 경우 제타함수는 무한대가 되는데 오일러 곱에서 유한개 소수의 곱으로 무한대를 만드는 것은 불가능하므로 소수의 개수는 무한하다는 결론이 나온다.

70년이 지난 뒤 독일의 수학자 카를 프리드리히 가우스는 소수 분포 규칙성에 대한 정리인 ‘소수정리’를 제시했다. 가우스는 π(N)(정수 N보다 작은 소수의 개수로 정의되며 소수계량함수라고 부른다)를 직접 구해보며 비교한 결과 N이 커지면 커질수록 N/logN(여기서 log의 밑은 오일러 수 e이며 정의는 ⓕ 와 같고 편의를 위해 생략한다)과 비슷하다는 추측을 제시했다. 이는 ‘N이 충분히 큰 수일 때 소수 사이의 간격이 logN이라면 소수는 logN개의 수 중 1개 존재한다’는 말과 같은 뜻이며, 즉 ‘어떤 수를 뽑았을 경우 소수일 확률은 1/logN’이다. 가우스는 이 같은 소수정리를  추측으로 제시했지만, 증명에는 실패했고 훗날 러시아 수학자 체비셰프가 증명했다. 또한 1896년 아다마르와 발레푸생이 제타함수 성질을 이용해 ⓖ가 만족함을 보다 엄밀하게 밝혔다.

복소수를 통해 넓힌 정의역
오일러는 제타함수가 ⓗ,ⓘ 와 같이 26보다 작은 모든 짝수 s에 대해 각 수렴값을 제시했다. 기존의 s=1일 경우 발산한다는 사실과 앞의 증명을 통해, 리만제타함수가 s가 1보다 클 때를 정의역으로 가진다는 것을 설명했다. 나아가 가우스의 제자인 리만은 변수 범위를 실수에서 복소수까지 확장해 정의역을 실수부가 1인 직선을 제외한 복소평면 전체로 확장시켰다. 복소수란 a+bi(i²=-1) 꼴의 수이며 실수를 x축으로 허수를 y축으로 하는 복소평면에 대응시킨 체계이다. 기존의 실수만을 변수로 갖던 리만제타함수에 이를 도입한 이유는 복소평면으로 확장할 경우 논의를 확대할 수 있기 때문이다. 변수가 실수일 경우 제타함수의 정의역은 1보다 큰 s만을 해당하지만, 복소수로 확대해 '해석적 확장'이란 개념을 도입할 경우 모든 범위를 정의역으로 가진다. 해석적 확장이란 간단히 말해 복소체계에서 정의역을 확장한 개념이다. 예를 들어 실수 체계에서는 ⓙ와 같은 등비급수의 합은 -1<x<1일 경우에만 성립한다. 반면 여기에 복소함수의 해석적 확장 개념을 도입하면 등호 우측의 함수가 x는 1을 제외한 곳에서 정의역을 가지는 것처럼 좌측의 급수도 같은 정의역을 가질 수 있다. 다시 말해 정의역을 실수로 제한하면 등호 좌측 급수의 경우 수렴하지 않기 때문에 x에 2를 대입할 수 없지만, 우측의 함수에는 대입할 수 있다. 이를 통해 좌측 급수에 2를 대입한 값은 -1이라고 말할 수 있다.

마찬가지로 리만제타함수 복소수를 변수로 취할 경우 정의역이 실수부가 1인 직선을 제외한 복소평면 전체로 늘어난다. s가 0과 1 사이일 때는 에타함수를 이용해 제타함수는 해당 범위의 정의역을 가질 수 있다. 제타함수를 잘 조정하면 ⓚ와 같이 표현할 수 있으므로 에타함수의 수렴값을 이용해 제타함수의 값을 구할 수 있다. 그 결과, 해석적 확장의 개념을 통해 제타함수의 정의역을 s의 실수부가 0보다 큰 범위까지 확장할 수 있다. 한편 s가 음수일 때는 리만이 L 과 같은 ζ(s)과 ζ(1-s)의 관계식을 통해 해당 영역을 정의역으로 가질 수 있음을 보였다. 종합하면 제타함수는 실수부가 1이 아닌 s에 대해 복소평면 전체에서 함숫값을 가진다. 모든 음의 짝수 s에 대하여 사인함수가 0이 되므로 Ⓛ 을 통해 모든 음의 짝수는 제타함수의 해임을 알 수 있고, 이를 리만제타함수의 자명한 근이라고 한다. 뿐만 아니라 ⓜ,ⓝ 을 통해, 소수정리와 제타함수와의 직접적 연관성을 말할 수 있다. 제타함수에서 s가 1일 경우 발산함을 통해 소수의 규칙성을 설명했듯이 소수정리에서 li(x) 함수가 1일 때 발산한다. 따라서 제타함수와 소수정리는 1이라는 값에서 소수의 규칙성에 대해 같은 의미를 내포한다. 이를 수학적으로는 ‘소수정리와 1+it의 꼴이 해가 아니라는 명제가 동치다’라고 말한다. 나아가 제타함수를 정의역을 복소체계로 확장시켰기에 리만 가설이 소수정리를 포함하는 명제라는 뜻이다.

리만 가설, 소수정리를 넘어
리만 가설은 소수정리보다 강력하게 소수의 분포를 얘기해 준다는 데 의의가 있다. 리만 가설은 앞서 논문에서 언급했듯이 ‘리만제타함수의 비자명한 근(자명한 근이 아닌 경우)의 실수부는 모두 1/2’이라는 추측이다. 즉, 자명하지 않은 근은 무한하며 0과 1사이 중에서도 특히 1/2에 존재함을 주장했다(다시 말해 ⓞ꼴). 현재까지 알려진 내용으로는 복소수근은 켤레쌍(a+bi가 서로 켤레쌍이다)으로 존재하고, 근이 1/2이거나 아니면 이를 기준으로 대칭을 띤다. 소수정리는 근이 1이 아님을 명시했지만 리만 가설은 근의 정확한 위치를 서술함으로써 가치를 지닌다. 소수정리로 예측하는 소수 개수의 근삿값은 오차가 크지만, 리만 가설이 제시한 공식은 비교적 매우 정확한 결과를 제시한다. 이렇듯 리만 가설은 소수정리의 확장형으로 생각할 수 있으며 증명이 된다면 소수 분포의 규칙성을 보다 명확하게 말할 수 있다. 또한 현재 수학계에서 많은 증명이 리만 가설을 전제로 증명이 이뤄졌기에 리만 가설의 중요성은 두드러진다. 한편 리만 가설이 증명될 경우 현대 암호체계의 붕괴를 낳는다는 우려가 있다. 현대 암호체계의 원리는 두 개의 큰 소수끼리 곱은 쉽지만 곱해진 큰 수에서 인수분해는 어렵다는 점에서 착안했다. 예를 들어 34,583 × 42,193을 찾는 방법은 비교적 쉽지만 pq = 1,459,160,519를 알려주고 p와 q의 쌍 34,583 × 42,193을 찾으라고 한다면 꽤 많은 시간이 필요하다. 나아가 수를 몇백여 자리로 늘릴 경우 소인수분해에 매우 오랜 시간이 걸린다. 여기서 소수의 분포 규칙만 알면 소인수분해가 쉽게 돼 암호체계가 붕괴되리라는 우려가 발생하는 것이다. 다만 리만 가설이 증명된다 해도 특정 순서의 소수가 무엇인지 정확히 알 수 있는 것은 아니기에 현대 암호체계에 위협을 가할지는 아직 불확실하다.

두 학문의 의외의 접점
영국의 수학자 존 더비셔는 그의 저서 『리만 가설』에서 제타함수와 물리와의 연관성을 지닌 일화를 소개한다. 수학자 휴 몽고메리 박사는 제타함수의 자명하지 않은 근들 사이의 간격 분포에 대해 연구했다. 그는 제타함수의 자명하지 않는 근의 분포 상태가 ⓟ 의 적분으로 표현된다는 추측을 제기했다. 그러던 와중 몽고메리 박사는 우연히 양자역학을 연구하고 있는 물리학자 다이슨과 만남을 가졌고, 다이슨이 연구하던 원자핵 에너지 분포를 나타내는 식 ⓠ 와 일치함을 목격했다. 존 더비셔는 “별개의 학문으로 여겨지던 연구 분야들이 의외의 지점에서 접점을 보인다는 것은 결코 우연의 일치가 아니다”라며 “몽고메리와 다이슨의 우연한 만남으로 시작돼 수학자에게 엄청난 화두를 던져 주었다”고 말한다.