수학은 크게 분류하면 논리학, 대수학, 해석학, 기하학, 위상수학 등이 있는데 우주의 미시세계의 연구에는 대수학이 우주의 구조연구에는 기하학이 역학에는 해석학이 우주의 모양 연구에는 위상수학이 필수불가결이다.

 불교는 본시 10종무기(十種無記)라 하여 그중에 우주의 시간적인 시간과 끝의 유무와, 우주의 공간적인 시작과 끈의 유무에 대한 4가지 질문에 부처님이 답을 하지 않은 4종무기(四種無記)가 있으며, 답을 아니한 취지는 고(苦)의 해결에 아무 도움이 되지 않기 때문이다. 이에 따라 불교는 형이상학적인 희론(戱論)을 경계하는 전통이 있으며 이에 영향을 받아 우주론도 발달하지 못하였다고 볼 수 있다.

대수학, 해석학, 기하학, 위상수학 등이 우주 즉 기세간(器世間)을 연구하는 데 필수적인 도구인 데 반하여 상대적으로 논리학은 그렇지 못하다. 이 점에서 논리학이 불교에 깊숙이 개입되어 있다는 것은 대단히 흥미로운 일이 아닐 수 없다. 수학자들의 삶이나 연구 활동이 수도승들과 가장 흡사하다는 점도 흥밋거리이다. 논리학은 알게 모르게 인간의 삶과 종교 활동에 관여되어 있다. 서구에서는 신의 존재를 논리적으로 증명하려고 했던 수많은 신학자들의 시도가 있었다.

직관을 중시하는 선불교에도 논리학은 개입하고 있다. 예를 들면 “눈이 본다면 송장도 봐야 하는데 그렇지 못하므로 눈이 보는 것이 아니라 마음이 보는 것이다.”라는 선사들의 단골 논증이 있다.

이는 마음을 중시하는 일체의 기세간까지도 마음의 현현(顯現)이라는 유식의 영향을 받은 결과로, 안근(眼根) 안식(眼識) 안경(眼境)이라는 삼자의 연기적 결과가 본다는 것이라는 중관에 위배된다. 위 논증은 사실은 어설픈 논리에 지나지 않는다. 논증이라는 것은 자신이 믿는 바 또는 아는 바를 논리를 이용하여 상대를 이해를 통하여 설복시키는 것이다. 따라서 이 논증은 이 논증이 논파(論破)되면 무용지물이 되는 것이다.

자 반대 논증을 보기로 하자. “마음이 본다면 눈이 망가진 봉사도 봐야 하는데 그렇지 못하므로 마음이 보는 것이 아니라 눈이 보는 것이다.” 이 두 논증은 서로를 배격하고 있다. 따라서 두 주장이 어느 쪽도 참이 아니라고 결론을 내릴 수 있으며 본다는 것은 근경식(根境識) 삼자의 연기(緣起)라는 것이 더 타당한 주장이라는 것을 알 수 있다. 이 연기를 철두철미하게 파고들어간 것이 용수(龍樹, 150~250)의 중관(中觀)이다.

용수 보살이 《중론(中論)》에서 보여준 수학적인 논증을 살펴보자.

설일체유부 또는 구사종에 의하면 유위법이 미래로부터 현재로 나타나게 즉 생겨나게 하는 법을 ‘생(生)’이라 하는데 이는 심소유법(心所有法) 46종 법 중 4개로 한 세트인 ‘생주이멸(生住異滅)’ 중 하나이다. 이들은 만법을 크게는 5가지로 자세하게는 75가지 법으로 완벽하게 분류하고자 하였다.

이 중 유위법인 71법이 미래로부터 현재로 나타나게 하는 힘이 ‘생’이라는 법이다. 유부는 미래 현재 과거의 3세가 실제로 존재하는 것으로 보았으며, 이 생법(生法)이 없으면 유위법은 미래로부터 현재로 나타나 작용할 수가 없다. ‘주, 이, 멸’이라는 법도 이 생법이 없으면 작동할 수가 없다. 유부가 이 이론을 세우고 흡족한 미소를 머금고 있을 때 용수 보살이 나타나 청천벽력과 같은 지적을 한다. 71법이 생법에 의하여 작동한다고 인정하더라도 도대체 생법 그 자체는 무엇에 의하여 작동하느냐고 묻는다.

생법이 생법을 작동하게 한다고는 말할 수 없다. 생이 생을 작동하게 하는 것은 마치 오른손이 오른손을 잡는 것과 불가능하다는 말이다. 자기가 자기를 생할 수는 없지 않으냐는 말이다. 이 모순을 해결하자면 생법을 생하게 하는 ‘생생(生生)’ 이라는 새로운 법을 상정할 수밖에 없는데 그래도 여전히 유사한 반격이 들어온다. 생생을 생하게 하는 법은 무엇인가?

그럼 다시 ‘생생생’법을 도입하지 않을 수 없으며 이런 식으로 무한히 많은 법인 ‘생, 생생, 생생생, ……’이 발생하며 이는 ‘생1, 생2, 생3, ……, 생n, ……’이 되어 자연수 체계가 된다. 용수는 무한한 법을 상정하는 것은 불가능하다고 결론을 내리고 끝을 냈지만 설사 무한한 법을 상정하는 것을 허용하여도 현대수학적인 관점에서 보면 여전히 문제가 남아 있다.

수학에서는 자연수 체계인 피아노공리를 포함하는 공리계에는 그 공리계 내에서는 참인지 거짓인지를 판별할 수 없는 명제가 반드시 존재하며 또한 그 공리계가 무모순(無矛盾)이라는 것을 증명할 수 없다는 괴델의 정리가 있다. 5위 75법도 일종의 공리계로 볼 수 있는데 이 공리계를 용수의 비판에 따라 수정하면 자연수 체계인 산술공리계를 포함하는 무한공리계가 되며 이 공리계는 모순이 없다는 것을 자체적으로 증명할 수 없다는 것이 괴델의 천재적인 지적이다. 물론 ‘주, 이, 멸’법에도 동일한 논리를 적용할 수 있다.

용수의 비판 수단은 정확히 수학적인 수단이다. 이것은 귀류법이라고 불리는, 어떤 명제를 참이라는 가정하에 모순이 도출되면 원래 명제가 거짓이라고 밝히는 증명법이다. 어떤 공리계라도 그 자체로 모순이 없다는 것을 그 공리계 내에서는 증명할 수 없다는 사실은 우리로 하여금 입을 다물지 않을 수 없게 한다. 이 점에서 ‘개구즉착’의 선불교와 통하는 점이 있다.

선불교는 일찍이 이 점을 본능적으로 그리고 직관적으로 파악한 것으로 보인다. 선불교가 중관과 유식으로부터 공히 깊은 영향을 받은 것으로 보이는 이유이기도 하다. 선불교는 주인공을 설하나(유식) 그 주인공도 무아라고 한다(중관). 그 주인공을 유아(唯我)라고 하면 용수는 수학적인 수단을 빌려 가차없이 때려 부술 것이다.

요즈음 불교계에 만연한 힌두교의 아트만적 유아론이나 범아일여 사상을 부수는 파사현정 수단으로서는 수학보다 더 유용한 도구가 없을 것이다. 그러므로 강원이나 불교대학에서 수학을 필수과목으로 하는 것이 바람직해 보인다. 왜냐하면 수학적 대상과 결과는 유위법이 아니라 무위법의 세계로서 시공을 초월하여 불변의 세계이기 때문이다.

10여 년 전에 세계적인 수학자 앙드레 와일즈가 페르마의 마지막 정리를 300여 년 만에 해결하고 어느 유명한 잡지와 인터뷰를 한 적이 있다. 이때 기자가 당신의 정리가 어떤 유용성이 있느냐고 물었을 때 만약 외계인이 지구를 방문한다면 이 결과를 보고 지구인의 지적 수준을 판단할 수 있을 것이라고 대답을 하였다. 즉 수학은 시간과 공간을 통하여 한결같다는 것이다.

 이 불변의 세계를 플라톤은 이데아라고 하였으며 이 이데아를 다루는 학문인 수학은 자신의 이상적인 공화국에서 누구나 배워야 하는 필수과목이었다. 이 생로병사의 유위법의 세계를 관통하여 씨줄 날줄로 엮어 놓은 것이 수학이다. 그래서 서양인들은 “신은 수학자인가?” 하고 묻기도 하는 것이다.

불교와 수학의 대상과 결과를 비교해 보자. 필자의 주장은 불교의 대상은 유위법이고 결과는 무위법이나 수학의 대상과 결과는 무위법이다. 1906년에 세계적인 수학자 포앙카레에 의하여 제기되고 2006년에 104년 만에 러시아 수학자 페렐만에 의하여 증명된 포앙카레 예측 해결에서 보듯이 그 증명을 이해하고 검증하는 데는 몇 년이 걸렸으나 그 이후는 어느 수학자도 이의를 제기하지 않는다. 수학에서의 증명이란 서로 합의하고 절충하고 타협하여 내리는 사회적인 활동이 아니라 절대적인 것이다. 이런 면에서는 수학적 증명이란 반사회적인 것이다.

불교도 진리 탐구란 면에서는 본질적으로 반사회적이다. 하지만 불교가 대상으로 삼는 인생 즉 삶과 죽음 고 그리고 그 근원이 되는 우비고뇌(憂悲苦惱)와 번뇌는 기본적으로 사회적이다. 왜냐하면 존재란 연기(緣起)이고 사회란 연기의 최고의 모델이기 때문이다. 흔히 생각하듯이 인간은 독립적인 존재가 아니다. 특히 사상이란 측면에서도 더욱 그러하다. 시대와 장소와 무관하게 사상이 생멸을 하는 것이 아니다.

이 점에서 사상이란 시간과 장소의 함수이며 그래서 연기일 뿐이다. 이슬람 국가에 태어난 자는 십중팔구 이슬람 신자가 되며 기독교 국가에 태어난 자는 십중팔구 기독교인이 되며 불교 국가에 태어난 자는 십중팔구 불교도가 될 수밖에 없다. 따라서 인간의 종교적인 활동의 내용도 사회적일 수밖에 없으며 연기일 수밖에 없다.

수학이 우비고뇌가 배제된 철저하게 이데아적인 세상에 대한 탐구라면 불교란 우비고뇌가 만연한 이 연기 세상으로부터의 탈출 방법에 대한 모색과 비연기적인 무위법의 세상에 대한 탐구라는 점에서 비교가 된다. 수학은 대상도 무위법이고 결과도 무위법이지만 불교는 대상은 유위법이나 결과는 무위법이다. 설일체부에서 분류한 5위 75법중 무위법에는 택멸무위(擇滅無爲), 비택멸무위(非擇滅無爲), 허공무위(虛空無爲)의 3종이 있으나 수학도 마땅히 포함되어 4종 무위법으로 확장됨이 타당하다.

칼 포퍼에 의하면 열린 세계와 닫힌 세계가 있다. 닫힌 세계는 역사주의의 세계이며 역사는 방향성을 가지고 필연적으로 정해진 방향으로 흐르게 된다. 그에 상대되는 세계가 열린 세계이다. 칼 포퍼는 닫힌 세계를 전체주의 등의 만악(萬惡)의 근원으로 파악하고 닫힌 세계를 강력히 비판하며 열린 세계를 지향한다. 열린 세계는 인간의 자유가 번영하는 사회이며 무한한 가능성을 향해 문이 열린 사회이다.

불교는 과연 열린 사회인가 닫힌 사회인가 하고 진지하게 질문을 던질 수 있는데 과거의 황금시대로부터 퇴락하였다가(원래 부처였다가) 다시 황금시대로 돌아가는(다시 불성을 회복하는) 철학이라면 닫힌 사회라고 할 수 있을 것이다. 인간의 수명이 84,000세와 10세 사이를 주기적으로 왕복한다고 주장한다면 이 또한 닫힌 사회일 것이다. 이는 불성을 형이상학적인 대상으로 삼음으로써 오는 폐단일 것이다.

인류 문명이 상상을 초월하도록 비약적으로 발달하여 구시대의 무지와 미신의 암흑으로부터 해방된 이 시대에, 과거의 종교적인 족쇄로부터 아직도 풀려나지 못하고 묶여 있다면 이보다 더 큰 비극은 없을 것이다. 2,600년 전에 부처님이 일반상대성이론이나 양자역학을 알고 있었다는 어처구니없는 주장을 또는 페르마의 마지막 정리나 포앙카레 예측을 알고 있었다는 주장을 할 수 없는 것이다.

부처님의 평생 가르침은 고의 해결이었지 우주에 대한 연구가 아니었기 때문이다. 부처님의 가르침은 현대과학과 상충하지 않으며 앞으로 다가올 그 끝을 가늠할 수 없는 빛나는 과학문명의 시대에 무상, 고, 무아의 삼법인의 가르침을 통해 인류를 더 큰 행복으로 인도할 것이다. 그렇게 되기 위해서는 수많은 종교와 정치, 경제적인 철학이 난무하는 인류 역사에서 길을 잃지 않고 바른길로 가게 하는 수단과 힘은 시공을 초월하여 성립하는 수학을 하는 방법과 수단에서 배워야 할 것이다.■

강병균 / 포항공과대학교 수학과 교수. 1980년 서울대학교 수학학사. 1987년 미국 아이오와대학교 수학박사. 포항공과대학교 교수평의회 의장.