대수학의 기본 정리

[귀뚜라미]

수학에서 ‘기본 정리’라는 이름이 붙은 정리가 몇 개 있다. 하나는 전에 소개한 ‘미적분의 기본 정리’로 수학의 응용에 지대한 영향을 미친 정리였다. 또 하나는 ‘산술의 기본 정리’라 부르는 것으로, 2 이상의 자연수는 소수들의 곱으로 유일하게 분해할 수 있다는 취지의 정리를 말한다. 이 또한 수학의 초석이 되는 정리로 언젠가는 소개해 보고 싶다. 오늘은 고등학교 과정까지 거치면서 대개 어렴풋이라도 들어봤지만, 증명 같은 것은 구경조차 못했을 가능성이 큰 기본 정리인 ‘대수학의 기본 정리’(The Fundamental Theorem of Algebra, 줄여서 FTA라고 한다)를 소개해 볼까 한다.

대수학의 기본 정리란?

대수학의 기본 정리란 다음 정리를 말한다.

복소수를 계수로 갖는 1차 이상의 다항식은, 반드시 복소수 근을 갖는다.

예를 들어 다음처럼 아무렇게나(?) 만든 복소계수 방정식이 있다고 치자.

그러면 어떤 복소수 z를 잘 대입하면 등식이 성립한다는 뜻이다. (z를 찾는 방법이 구체적으로 있다는 뜻은 아니다.)

적어도 방정식을 푸는 한 복소수 이상의 수는 필요치 않다는 얘기이므로, 수학에 신음하는 많은 사람들에게는 반가운(?) 정리라 할 수 있다. 지금은 참이라고 알려진 정리지만, 요한 베르누이나 라이프니츠 같은 수학자들은 x⁴ + a⁴ 과 같은 다항식은 인수분해할 수 없다는 잘못된 주장을 했을 정도로 (지금은 고등학교 1학년 과정에서 저 다항식의 인수분해를 배운다) 그렇게 당연해 보일 이유가 전혀 없는 정리다.

대수학의 기본 정리는 누가 증명했나?

대체로 대수학의 기본 정리는 가우스가 증명했다는 의견이 지배적이다. 하지만 좀더 내막을 들여다 보면 그다지 녹록하지만은 않다. 실제로 최초의 증명은 프랑스의 수학자 겸 물리학자 겸 음악이론가였던 달랑베르(Jean-Baptiste le Rond D’Alembert, 1717-1783)가 1746년에 제시한다. 다만 달랑베르는 실계수 다항식이 항상 복소수 근을 가진다고 주장했는데, 이는 큰 흠은 아니다. 이 주장에 두세 줄짜리 논증만 더 보태면 대수학의 기본 정리 전체를 증명할 수 있기 때문이다.

달랑베르에 뒤이어 내로라 하는 수학자들도 증명을 내놓는다. 오일러(1707-1783)도 달랑베르의 증명을 읽고, 1749년에 대수적인 증명을 제시한다. 라그랑주가 1772년에, 라플라스가 1795년에, 가우스는 1799년에 각각 증명을 내놓았고, 언급하지 못한 이들 중에도 증명을 제시한 사람이 많다. 가히 18세기 말 수학계의 화두였다고 할 수도 있겠다.

이 중 가우스의 증명은 박사학위 논문에 제시된 것으로, 기존의 증명이 갖는 문제점을 조목조목 지적하고 있다는 점이 특이하다. 오일러 등의 대수적인 증명은, 기본적으로 다항식의 근이 (복소수를 넘어선 범위에서) 일단 있다고 가정하고 출발한다는 문제가 있음을 지적한다. 어떤 의미에서는 증명하고자 하는 사실을 일부 가정하고 있으므로 순환논법이라는 것으로, 복소수를 넘어선 범위의 수는 어떻게 연산하며 크기를 구할지 제시하지 않아 문제점이 있다는 지적이다. 달랑베르의 해석적 증명은 증명하지 않은 다른 정리에 기반하고 있다는 사실을 지적하고, 증명에 등장하는 일부 정리에 대해 반례까지 제시한다. 기존 수학자들의 명확하지 않은 논증을 비판하고 기하학적인 면을 강조한 새로운 증명을 제시하였으므로, 가우스가 증명했다는 주장은 어느 정도 수긍이 간다 하겠다. 하지만 현대 수학의 엄밀한 잣대를 들이대면 가우스의 증명도 결함이 있음이 알려져 있다. 연속 함수나 미분 가능한 함수에 대한 엄밀한 이해가 부족한 시절이었기 때문이다. 가우스 본인도 나중에 두 가지 다른 증명을 더 내놓긴 하는데, 역시 엄밀하게 따지면 결함이 있다고 한다. 달랑베르도 다른 증명을 내놓았는데, 이 역시 문제가 없는 것은 아니다. 당시의 미적분의 기초를 이루는 무한소 개념 대신, 극한을 통해 미적분을 이해하자는 올바른 발상을 맨 처음 한 달랑베르였지만, 시대적 한계를 넘을 수는 없었던 것이다. 이쯤 되면 누가 진정한 증명자인지 오리무중이라고 할 만하다. 필자의 사견으로는, 비록 엄밀한 증명에는 실패했지만 대수학의 기본 정리가 담고 있는 본질을 간파한 달랑베르에게 최초의 증명자의 칭호를 주는 것도 나쁘지 않을 것 같다.

프랑스의 수학자 겸 물리학자 겸 음악이론가였던 달랑베르(Jean-Baptiste le Rond D’Alembert, 1717-1783)

대수학의 기본 정리는 왜 성립하나?

달랑베르의 증명은 여러 수학자를 거치면서 다듬어졌고, 지금은 적당한 수학적 배경을 가진 사람이라면 A4 용지로 두 장 정도면 증명할 수 있다. 가우스는 두 장으로 압축할 수 있는 학위 논문을 길게 쓴 셈인데, 그간 수학이 대단히 발전했다는 방증이라 할 수 있다. 시대를 거치며 다양한 증명 방법이 등장했는데, 대부분은 대학에서 배우는 복소해석학을 이용해서 증명한다. 이 때문에 대수학의 기본 정리는 ‘대수학의 정리가 아니다’는 우스개까지 있다. 혹자는 ‘기본 정리도 아니다’고까지 말하지만, 해석학, 대수학, 기하학 등을 이용한 증명이 있는 것으로 보아도 그런 주장은 다소 과하다고 할 수 있다.

필자가 ‘복소 평면에 산책을 데리고 나간 강아지를 이용한 증명’이라 부르는 재미있는 증명도 있으나, 약간의 배경 지식이 필요하므로 아쉽지만 생략하기로 하고, 여기서는 달랑베르의 증명과 일맥 상통하는 증명을 제시하겠다. 정확한 증명을 할 필요는 없는 듯하니, 예와 그림을 통해 설명해 보려고 한다. 대수학의 기본 정리가 성립할 수밖에 없다는 감을 잡을 수 있으면 그걸로 족하지 않겠는가?

예를 들어 f(z) = z³ + z + 1 을 생각하자. 이제 z자리에 여러 복소수를 대입하다 보면 언젠가는 0이라는 것을 증명해야 하는데, 극형식 z = r(cost + isint) 꼴로 대입하면 편리하다. 삼각함수의 덧셈정리(오일러-드므아브르의 정리)로부터 아래와 같으므로,

(r³cos(3t) + rcost + 1, r³sin(3t) + rsint) 인 점을 좌표평면에 그리기로 한다. 아래에 r의 값이 0.1, 0.2, 0.3, 0.4, 0.5 일 때 t가 변함에 따라 그리는 곡선을 각각 그려 놓았다.

그림에서 보듯이 r이 커짐에 따라, (1,0) 으로부터 더 멀리 떨어진 곡선을 그린다는 사실을 알 수 있는데, 다른 다항식 f(z)에 대해서도 일반적인 현상임을 어렵지 않게 증명할 수 있다. 그런데 r이 연속적으로 변하면 이 곡선들은 연속적으로 변하므로, 결국 언젠가는 (0,0)을 지날 수밖에 없다는 것이 바로 대수학의 기본 정리다.

한편 조금 더 큰 r값에 대해서도 그림을 그려 보자. 이번에는 r이 0.6, 0.8, 1.0일 때를 그려 놓았다.

그림에서 보듯 r이 0.6과 0.8 사이일 때 다항식의 근이 적어도 하나 존재해야 한다는 것을 알 수 있다. 한편, 아름다우면서도 복잡한 그림들은 r이 더 커지면 (1,0) 주변을 세 번 감는 모양으로 단순해지는데, 감상해 보기 바란다. (세 번 감는 이유는 다항식이 3차식이기 때문이라는데…)

하트 곡선

다항식 f(z) = 0.5 z² + z + 0.5 = 0.5 (z + 1)²에 대해 위의 과정을 따라 그림을 그리면 r=1 인 경우, 유명한 하트 곡선(cardioid)이 나온다. ‘대수학의 기본 정리’에도 적잖은 아름다움이 숨어 있었던 걸까?

하트곡선

글 정경훈 / 서울대 기초교육원 강의교수