인공지능(AI)이 수십 년 동안 수학자들을 괴롭혀 온 난제를 해결하며 학계의 관심을 끌고 있다. 이번 성과는 완전히 새로운 수학 이론을 제시하기보다는 기존 연구에서 사용된 여러 접근법을 결합·확장해 일반적인 증명을 완성했다는 점에서 주목받고 있다.
그래프 이론의 대표 난제 ‘사이클 이중 덮개 추측’
미국 과학 전문 매체 사이언티픽 아메리칸에 따르면, 오픈AI는 새로운 대규모 언어모델(LLM)인 GPT-5.6-Sol을 활용해 ‘사이클 이중 덮개 추측(Cycle Double Cover Conjecture)’에 대한 증명을 공개했다.
그래프 이론은 인터넷, 통신망, 교통 시스템 등 다양한 네트워크 구조를 분석하는 데 활용되는 수학 분야다. 사이클 이중 덮개 추측은 점과 선으로 이루어진 그래프에서 모든 간선을 정확히 두 번씩 포함하는 여러 개의 순환 경로를 구성할 수 있는지를 묻는 문제다.
1970년대부터 이어진 미해결 문제
이 추측은 1970년대 여러 수학자들이 특정 조건을 만족하는 거의 모든 그래프에서 사이클 이중 덮개가 존재할 것이라고 제안하면서 본격적으로 연구되기 시작했다.
이후 일부 특수한 경우에 대해서는 증명이 이루어졌지만, 모든 경우를 포괄하는 일반적인 증명은 수십 년 동안 제시되지 못했다. 이 때문에 그래프 이론 분야의 대표적인 난제 가운데 하나로 꼽혀 왔다.
기존 연구 결합해 일반 증명 완성
GPT-5.6-Sol이 제시한 해법은 기존에 제한된 조건에서만 성립한다고 알려졌던 추측을 모든 상황에 적용할 수 있도록 확장한 일반 증명이다.
특히 이번 증명은 전혀 새로운 수학적 개념을 도입한 것이 아니라, 과거 수학자들이 시도했던 여러 방법을 결합하고 발전시키는 방식으로 완성됐다. 연구진은 예상보다 훨씬 짧고 간결한 형태의 증명이 도출됐다고 설명했다.
64개 AI 에이전트가 병렬 검토
오픈AI는 이번 증명 과정에 사용된 프롬프트도 함께 공개했다.
연구진은 모델이 최대 64개의 AI 에이전트로 작업을 분담하고 병렬적으로 문제를 검토하도록 설계했다. 여러 AI가 서로의 결과를 교차 검증하는 방식을 통해 잘못된 증명이나 존재하지 않는 참고문헌이 생성되는 오류를 줄이는 것이 목표였다.
이 같은 접근은 최근 AI 연구 분야에서 주목받는 ‘다중 에이전트 협업’ 방식의 대표 사례로 평가된다.
“포기하지 말라”…장시간 문제 해결 유도
연구팀은 모델에 해당 문제가 오랫동안 해결되지 않았다는 이유만으로 시도를 중단하지 말 것을 특별히 지시했다.
특히 “결과를 반환하거나 포기하는 것을 고려하기 전에 최소 8시간 동안 문제 해결에 집중하라”는 조건을 부여한 것으로 알려졌다.
이는 과거 인간 연구자들의 실패 사례를 학습한 언어모델이 새로운 증명 시도를 회피하지 않도록 유도하기 위한 조치다. 연구진은 이러한 지침이 모델의 탐색 범위를 넓히고 새로운 해결책을 찾는 데 도움이 됐다고 설명했다.
수학계 “AI가 연구 방식 바꾸고 있다”
매사추세츠공과대학(MIT)의 수석 연구원 앤드루 서덜랜드는 “어떤 수학 문제가 어렵다는 인식이 강해질수록 학생과 연구자들은 그 문제에 투입하는 시간을 줄이는 경향이 있다”며 “앞으로는 대규모 언어모델이 어려운 문제로 여겨졌던 과제에서 의외로 단순한 해법을 찾아내는 사례가 늘어날 수 있다”고 전망했다.
프린스턴대학교의 수학자 노가 알론 교수도 “사이클 이중 덮개 추측은 오랫동안 수학계에서 큰 관심을 받아온 문제”라며 “증명이 매우 짧다는 점이 특히 놀랍다”고 평가했다.
이어 “이번 사례는 AI 도구가 이미 수학 연구의 방식과 속도를 크게 변화시키고 있음을 보여주는 또 하나의 인상적인 사례”라고 덧붙였다.
AI와 수학 연구의 새로운 가능성
이번 성과는 인공지능이 단순 계산이나 데이터 분석을 넘어 고난도 수학 연구에도 의미 있는 역할을 할 수 있음을 보여준 사례로 평가된다. 특히 장기간 해결되지 않았던 문제에 대해 기존 지식을 체계적으로 조합하고 검증하는 과정에서 AI의 활용 가능성이 더욱 주목받고 있으며, 향후 수학과 기초과학 연구 전반에 새로운 변화를 가져올 것으로 기대된다.

