실수란 무엇인가?

[귀뚜라미]

자연수는 개수를 세는 것에서부터, 유리수는 비율로부터 그 개념을 이해할 수 있다. 그런데 실수는 어떻게 이해해야 할까? 실수는 어떻게 발견된 것일까?

자연수에서 유리수까지

인간이 자연스럽게 인식할 수 있는 가장 낮은 수준의 수는 자연수라 할 수 있다. 누구나 사물의 개수를 하나, 둘, 셋 세면서 자연수의 개념을 터득하게 된다. 어떤 자연수를 가져와도 그 다음 자연수를 말할 수 있고, 이런 과정을 통해 수에는 끝이 없다는 사실도 깨닫게 된다. 어떤 의미에서는 수가 무한히 많다는 사실은 인간이 최초로 겪게 되는 놀라운 수학적 경험이라 할 수 있다. 수의 범위를 자연수에서 정수로 넓히는 것은 0과 음의 정수만 고려하면 되므로 그리 어렵지 않다. 유일한 난점이라면 두 정수의 곱셈, 특히 음의 정수끼리 곱하는 것을 어떻게 생각하느냐라 할 수 있다. 양의 정수는 자연수와 같으므로 ‘개수’라는 관점에서 곱을 생각하는 것이 자연스럽지만, ‘개수’로는 설명하기 힘든 음의 정수에 대해서는 곱을 생각하기가 자연스럽지 않기 때문이다. 이와 관해서는 오늘의 과학 [음수곱하기음수] 편을 참조하라. 일단 정수의 개념이 확립되고 나면, 유리수는 비교적 자연스럽게 정의된다. 유리수는 두 정수의 비로 생각할 수 있기 때문이다. 그 다음 단계라 할 수 있는 실수는 어떻게 정의해야 될까? 실수의 모델이 되는 것은 길이를 들 수 있다. 그런데 이 길이를 나타내는 수가 유리수와 달라야 할 이유가 있을까? 실제로 고대 그리스의 피타고라스는 길이를 나타내는 모든 수는 유리수라고 생각하였다.

라파엘로의 그림 [아테네 학당]에 등장한 피타고라스의 모습.

지금이야 유리수가 아닌 실수가 있다는 사실을 배워서 알고 있으므로, 누구나 “유리수가 아닌 실수가 존재한다”라고 자신있게 말할 수 있지만, 피타고라스 시대에 살고 있다고 상상해 보면, 유리수가 아닌 실수, 즉 무리수의 존재를 생각해낸다는 것이 결코 쉽지 않음을 알 수 있다. 사실 고대 그리스를 제외한 다른 문명권의 수학은 무리수와 유리수를 구별할 생각을 전혀 하지 않았다는 사실만 보아도 이런 분류가 결코 자명하지 않음을 알 수 있다.

통약가능성

피타고라스가 무리수를 발견한 것은 유리수보다 더 큰 범위의 수를 만들려는 적극적인 시도에서 나온 것도 아니고, 기존에 알고 있던 수를 분류하려는 소극적인 시도에서 나온 것도 아니었다. 피타고라스가 생각하였던 것은 어찌 보면 지극히 당연해 보이는 착상이었다. 길이가 다른 두 개의 막대가 주어졌다고 생각하자. 피타고라스는 두 막대를 적당히 등분하면, 두 막대 모두 어떤 단위 길이의 정수배가 되게 할 수 있다고 생각했다. 우리가 자를 가지고 길이를 재는 행위를 생각해 보면, 이것은 꽤 당연한 생각이라 할 수 있다. 이처럼 두 막대의 길이가 모두 어떤 길이의 정수배가 될 때, 두 막대의 길이는 통약가능(commensurable)이라고 한다. 피타고라스는 막대의 길이가 모두 어떤 길이 단위의 유리수 배가 된다고 하는 대신에, 두 막대 사이의 관계에만 집중하였다. 직접 유리수를 다루는 것은 다소 모호하지만, 이처럼 통약가능성을 가지고 수를 다루는 것은 매우 간명하면서도 구체적이다.

위의 두 막대의 길이의 비는 7:11로 통약가능하다.

 

만약 두 막대의 길이 a와 b가 통약가능하다면, 적당한 길이 u가 있어서 a와 b 모두 u의 배수가 되게 할 수 있다. 따라서 적당한 두 정수 m과 n에 대해 a=mu이고 b=nu라면, a:b=m:n이 된다. 즉, 두 수 a와 b가 어떤 종류의 수인지에 상관없이 두 수의 비 a:b를 항상 정수의 비 m:n으로 바꾸어 나타낼 수 있다. 식을 조금 변형하면, a=m/n×b가 되어 한 쪽 길이가 다른 쪽 길이의 m/n배가 되게 할 수 있다. 따라서 피타고라스의 생각대로 모든 수가 서로 통약가능하다면 길이를 나타내는 어떤 두 수를 골라도 한 수가 다른 수의 유리수 배가 되어야 한다. 모든 수가 유리수라는 생각은 무작정 유리수를 정의하자는 데서 나온 것이 아니라, 이런 추론 과정을 거쳐 얻은 것이었다.

물론 피타고라스의 이런 순진한(?) 생각은 전혀 옳지 않다는 것이 자기 자신(또는 제자)에 의해 밝혀졌다. 대표적인 무리수의 예인 의 발견이 바로 그것이다. 는 정수의 비로 표현될 수 없으므로 유리수가 아님을 알 수 있지만, 이 사실을 통약가능성 관점에서 보면 정사각형의 한 변의 길이와 대각선의 길이는 통약불가능하게 된다.

정사각형의 한 변의 길이와 대각선의 길이는 정수의 비로 표현할 수 없다.

무리수가 발견되면서 수학자들에게는 실수를 다루는 것이 쉽지 않은 일이 되었다. 유리수는 자연수에서 출발하여 비율로 이해할 수 있으므로 유한한 단계의 구성적인 방식으로 설명이 되지만, 무리수는 근본적으로 유한한 단계로는 설명할 수 없는 수이기 때문이다. 따라서 수학자들은 직접 실수와 관련된 개념은 물론, 기하학적인 내용까지도 증명을 하기가 대단히 어려워졌다. 이를 해결하기 위해 주어진 실수에 대한 명제를 직접 증명하는 대신 그 실수보다 작은 수와 큰 수에 대한 부등식을 이용하여 주어진 실수에 대한 명제를 증명하는 기법이 개발되었다. 착출법(窄出法, method of ex haustion)으로 불리는 이 기법은 원시적인 형태의 극한 개념이라 할 수 있으며, 이는 17세기에 이르러 적분 이론으로 발전하게 된다.

무한소수

아마도 무리수를 직관적으로 이해하는 가장 쉬운 방법은 무한소수를 이용하는 것이 아닐까 싶다. 유리수를 소수로 나타내어 보면 유한소수가 되거나 순환소수가 되므로, 거꾸로 순환하지 않는 무한소수는 무엇일지 생각하는 것은 지극히 자연스럽다. 왜 고대 수학자들은 이런 방식으로 무리수를 발견하지 못했을까? 그 이유는 소수 표기 자체가 늦게 발견되었기 때문이다. 소수 계산에 익숙한 현대인에게야 유리수를 소수로 고치는 것이 그저 단순한 나눗셈을 반복하는 것뿐이지만 소수 표기가 없던 시절에는 유리수를 소수로 고친다는 착상이 쉽지 않았다. 사실 고대 문명권에서 소수 표기가 아예 없던 것은 아니었다. 특히 15세기까지 세계 최고의 수학 실력을 갖추고 있던 중국의 경우, 원주율을 소수 표기와 비슷한 방식으로 3.1415926까지 나타내기도 하였다.

그렇다면 왜 중국 수학자들은 무리수를 생각하지 못했을까? 아마도 역설적으로 중국의 수학이 너무 발전하였던 것이 원인이 아닐까 싶다. 어떤 수든 얼마든지 원하는 정밀도로 계산해낼 수 있는 상황에서 그 수가 유리수인지 무리수인지 따지는 것은 중요하지 않게 생각되었다. 예를 들어 가 얼마인지 알고 싶다면 소수점 아래 부분을 얼마든지 계산해서 보여줄 수 있기 때문에, 이 계산이 유한한 단계에 끝나든 끝나지 않든 별 상관이 없었다. 이런 계산이 엄청나게 복잡하거나 오차가 전혀 없는 결과가 필요하다면 유한한 단계에 계산이 끝나는지가 중요하지만 고대 중국의 수학자들은 계산을 아주 효율적으로 했을 뿐 아니라 오차는 원하는 만큼 줄이면 충분하다고 생각했다.

실수를 구성하는 방법

17세기에 창안되어 급격히 발전한 수학의 분야로 미적분학을 들 수 있다. 이 분야는 극한 개념을 기초로 이루어진 것으로, 극한 개념을 제대로 다루려면 실수의 성질을 완벽하게 이해할 필요가 있다. 물론 초창기의 미적분학은 다분히 직관적인 방식으로 다루어졌다. 실수라는 것도 이미 인간이 어느 정도 알고 있는 것으로 치부되었다. 그러나 미적분학의 수준이 점점 높아지면서, 유리수와는 다른 실수의 성질 때문에 직관과는 다른 결과들이 발견되기 시작하였다. 이런 상황에서 미적분학을 엄밀히 다루려면 실수가 무엇인지 제대로 설명할 수 있어야 하였다. 여기에 성공한 두 위대한 인물이 독일의 수학자 데데킨트(Richard Dedekind)와 칸토어(Georg Cantor)였다. 그들은 유리수를 이용하여 실수를 구성하는 독창적인 방법을 제시하였다. 데데킨트는 유리수를 두 집합으로 나누는 ‘절단(cut, 독일어로 Schnitt)이라는 개념을 이용하였고, 칸토어는 유리수로 이루어진 무한수열을 이용하였는데, 나중에 수학자들은 이 두 방법이 사실상 같은 결과를 나타낸다는 것을 증명할 수 있었다. 여기서 두 수학자의 방식을 엄밀하게 설명하기는 어려우니, 고대 수학자들이 실수를 다룬 방식과 관련지어 설명하겠다. 먼저 데데킨트의 방식은 다루려는 실수보다 작은 유리수와 큰 유리수의 두 집합으로 나누어 집합 자체를 수처럼 다루는 방식이다. 즉, 실수 하나가 유리수 집합을 둘로 절단한다. 이것은 실수의 모델인 수직선에서 착안한 것으로, 수직선 위를 빼곡히 채우고 있는 유리수를 이용하여 유리수로 채우지 못하는 빈틈인 무리수를 설명하려는 것이다.

데데킨트 (Julius Wilhelm Richard Dedekind, 1831~1916) 데데킨트 절단(Dedekind cut)이라는 개념으로 해석학의 기반을 닦은 수학자

한편 칸토어의 방식은 무한소수를 이용한 것이다. 무한소수가 실수를 나타내므로, 무한소수를 직접 다룰 수는 없다. 따라서 유한소수를 무한히 늘어놓는 수열을 생각하고, 이 수열 자체를 하나의 수처럼 다루는 방식이다. 데데킨트의 방식처럼 집합을 수처럼 다루거나 칸토어의 방식처럼 수열을 수처럼 다루는 것은 처음에는 무척 어색하게 보이지만, 여기에는 현대 수학의 철학이 잘 반영되어 있다고 할 수 있다.

실수와 유리수가 다른 점

이렇게 만들어진 실수는 유리수와는 다른 특징이 많다. 실수와 유리수 모두 무한히 많지만, 집합론의 관점에서는 무한한 정도가 다르다. 이를 농도라고 한다. 자연수, 정수, 유리수의 농도는 모두 같으나, 실수는 더 큰 농도를 갖는다. 이와 관련해서는 오늘의 과학 [자연수 vs. 실수]편을 참조하라. 또, 유리수로 이루어진 수열이 어떤 값에 무한히 가까워진다고 해서 그 값 자체가 유리수라고는 할 수 없지만, 실수로 이루어진 수열이 어떤 값에 무한히 가까워진다면 그 값은 반드시 실수가 된다. 이것은 실수의 모델인 수직선이 빈틈없이 연결되어 있다는 점을 생각하면 당연해 보이기도 한다. 이와 같은 성질을 완비성(completeness)이라 한다. 이것은 유리수와 실수를 구분하는 가장 큰 특징이기도 하며, 이 때문에 실수를 이해하기 위해서는 극한의 개념이 반드시 필요하다.

엄밀한 사고가 더 큰 아이디어를 창출한다

생각해 보면, 그토록 수학이 발전했던 중국보다 유럽이 왜 미적분학을 먼저 발명할 수 있었는지 의아스럽다. 아마도 여기에는 고대 그리스 수학에 바탕을 둔 유럽의 수학이 계산 자체보다는 수의 성질에 더 관심을 가졌기 때문일 것이다. 어떤 수가 유리수인지 무리수인지를 따지는 것 자체는 별로 중요하지 않아 보이지만, 이로부터 실수란 무엇인지, 실수를 다루기 위해서는 어떻게 접근해야 하는지를 고민하게 되고, 이런 생각이 극한 개념을 거쳐 미적분학까지 이어지게 된다. 사소해 보이더라도 논리적으로 분류하고 엄밀하게 사고하는 것이 더 큰 아이디어를 창출해낸다는 사실이 여기서도 드러난다. 수학을 공부하는 이유 가운데 하나도 바로 이런 것이고.

글 박부성 / 경남대학교 수학교육과 교수