미국의 클레이 수학연구소에 의해 2000년에 발표된 100만달러의 현상금이 걸려 있는 문제가 '밀레니엄 현상 문제'인데, 이 중 하나인 리만 예상은 소수의 분포에 관한 문제로 특히 유명하며, 160년 넘게 전 세계 수학자들을 괴롭히고 있다.
리만 예상이 어떤 문제인지에 대해서 살펴보면....
소수란 '1과 그 수로 밖에 나눌 수 없는 자연수'를 말하는데, 기원전 3세기경 고대 그리스의 수학자인 유클리드는 소수가 무한히 존재한다는 것을 증명했다.
그런 소수의 매력에 사로잡힌 사람이 18세기~19세기에 활약한 독일의 대수학자인 카를 프리드리히 가우스. 가우스는 10대 시절에 소수를 300만 개나 써내 표로 정리했다.
그리고, 가우스는 '소수 계수 함수'를 연구했는데, 소수계수함수란 말 그대로, 자연수 n에 대해 n 이하 소수의 개수를 세는 함수. 다음은 세로축을 소수 계수 함수 π(n), 가로축을 n으로 하여 그래프로 만든 것. 소수의 개수는 1씩 늘어가기 때문에 π(n)의 그래프는 마치 계단과 같은 형상을 하고 있다.
하지만 n의 상한을 계속 크게 잡으면, 그래프는 아래와 같이 하나의 완만한 선처럼 보인다.
가우스는 이 π(n)가 로그 적분 함수라는 함수에 상당히 가깝다는 것을 발견는데, 즉, 자연수 중에 소수가 어느 정도의 비율로 포함되어 있는지를 로그를 사용하여 근사할 수 있다는 것. 이것이 가우스의 소수 정리입니다.
그리고, 시대는 가우스가 활약하던 무렵부터 조금 거슬러 올라가, 18세기 전반에 활약한 수학자 레온하르트 오일러의 업적에 주목.
오일러가 남긴 수학적 업적은 위대하고 방대하지만, 그 중 하나로 '무한급수의 추구'가 있는데, 무한급수란 무한히 이어지는 수열의 합을 말한다. 예를 들어, 1/x의 무한급수는 1/1+1/2+1/3+1/4+…으로 나타나고, 이 1/x의 무한급수는 발산, 즉 유한값으로 수렴하지 않는다는 것이 증명되었다.
그러나 1/x2의 무한급수는 무려 π2/6로 수렴한다는 것을 오일러는 알아냈으며, 게다가 오일러는 1/x4의 무한급수가 π4/90에 수렴한다는 것도 증명하고 있다.
이러한 무한급수를 일반화하여, 1/xs의 무한급수=1/1s+1/2s+1/3s+1/4s+……로 나타나는 함수 ζ(s)가 '제타 함수'인데, 오일러는 이 제타 함수가 소수를 사용한 곱으로 표현할 수 있다는 것을 발견. 이것을 오일러 곱이라고 부른다.
소수와 제타 함수의 연결고리가 보인 곳에서 등장하는 것이, 가우스의 제자이기도 한 독일 수학자 베른하르트 리만. 리만은 이 제타 함수에 복소해석 개념을 도입했다.
복소해석이란 「복소수」를 함수에 도입하는 개념이며, 복소수는 제곱하면 -1이 되는 수 = i를 단위로 하는 허수와 실수로 표현되는 수를 말하며, 복소수를 'x+yi'라고 하는 형태로 나타냈을 때 실수 부분(실부)은 x, 허수 부분(허부)은 y가 된다.
ζ(s)는 x>1이면 나선을 그리면서 유한치로 수렴하고, x>1일 때 s에 대한 ζ(s)를 복소수 평면상에 표현한 등각사상이 아래 오른쪽의 파란 부분.
리만은 「해석 접속」이라고 하는 수법으로 ζ(s)의 정의역을 넓혀, x<1에 있어서의 ζ(s)도 생각했는데, 이 때, s가 -2, -4, -6……라고 하는 음의 짝수인 경우, ζ(s)=0이 된다. 이것은 쉽게 증명 가능하기 때문에, 음의 짝수가 되는 s는 「자명한 영점」이라고 불린다.
게다가 ζ(s)=0이 되는 s는, 0<x<1의 범위에도 무한개 존재하는 것을 알게 되었는데, 이 s는 '비자명한 영점'이라고 불리고, 리만은 "비자명한 영점은 x=1/2의 라인 상에만 존재한다"고 예상. 이것이 리만 예상이다.
여기서, 가우스가 생각한 소수 정리로 이야기를 되돌아오면, 가우스가 제창한 소수 정리는 '소수의 개수를 나타내는 소수 계수 함수와 로그 적분 함수가 상당히 가깝다'는 것을 보여주지만, '가깝다'는 것은 반드시 오차가 있다. 리만은 1859년에 발표한 논문 '주어진 수보다 작은 소수의 개수에 대하여'에서 제타 함수의 영점을 사용함으로써, 소수 계수 함수를 보다 정밀하게 표현할 수 있다고 생각. 즉, 리만 예상이 증명되면, 소수의 분포를 매우 높은 정밀도로 구할 수 있게 되는 것이다.
그러나, 예상을 제시한 리만 자신은 '비자명한 영점이 x=1/2상에만 존재한다'는 예상에 대해, '엄밀히 증명되는 것이 바람직하지만 스스로 증명을 시도했지만, 성과를 얻지 못했기 때문에, 당장 증명하지는 않았다'고 논문에 적었다.
컴퓨터가 진보하고 방대한 계산을 고속으로 할 수 있게 되면서, 실제로 ζ(s)가 될 만한 복소수 s가 10조 개나 검증된 결과, 검증한 비자명한 영점은 모두 x=1/2을 만족하는 것으로 나타났다. 컴퓨터의 압도적인 계산력으로 강제로 비자명한 영점을 발견하고 있지만, 만일, x=1/2가 아닌 비자명한 영점이 발견되면, 그 시점에서 리만 예상은 잘못이었던 것이 된다. 이 방법으로는 리만 예상이 틀렸음을 나타낼 수는 있어도, 리먼 예상이 옳다는 것은 증명할 수 없다.
수학자들은 160년 이상에 걸쳐 리만 예상에 도전하고 있지만, 아직 해결에는 이르지 못하고 있다. 그래서 '1/2<x<1이 되는 s에서 비자명한 영점이 N개 있다고 가정하고, 이 N을 0에 가깝게 한다'는 접근법이 취해졌지만, 영국의 수학자인 앨버트 잉엄이 1940년에 발표한 논문에서 현대에 이르기까지 거의 진전되지 않고 있다.
2024년 5월 말, 매사추세츠공대 수학자 래리 가스와 옥스퍼드대 제임스 메이너드 씨가, 80년 만에 잉엄의 연구 결과에서 한 걸음 더 나아가는데 성공했다고 주장하는 논문을 미사독 논문 저장소인 arXiv에 게재. 저명한 수학자인 테렌스 타오씨는 Mastodon에서, 「리만 예상을 향해서 눈부신 진보가 있었습니다. 이 예상을 완전히 해결하려면, 아직 갈 길이 멉니다만」이라고 코멘트.
