'AI가 수학 난제를 풀었다'는 뉴스, 어디까지 믿으면 될까요: 연구 성과 발표를 읽는 구조

발표 기사와 반박 기사가 같은 주에 나오는 이유부터 볼게요

'AI가 수학 난제를 여러 개 풀었다'는 기사를 읽고 감탄했는데, 며칠 뒤 '수학자들이 반발했다'는 기사가 따라 나오는 경험, 아시죠 그 느낌? 한쪽은 대단한 성과라 하고 다른 쪽은 과장이라 하니, 결국 누구 말을 믿어야 할지 막막해지기 쉬워요. 이 글은 그 막막함이 어디서 오는지 짚고, 두 기사를 같은 자리에 놓고 읽는 순서를 알려 드릴게요.

발표 기사와 반박 기사는 대개 서로 다른 것을 말하고 있어요. 발표 쪽은 '답을 냈다'는 사실을, 반박 쪽은 '그 답이 얼마나 새롭고 검증됐는가'를 말해요. 둘 다 사실일 수 있는 이유는, 연구 성과가 발표 한 번으로 확정되는 게 아니라 여러 단계를 거쳐 학계에 받아들여지기 때문이에요.

이게 왜 중요하냐면요, 단계를 모르면 제목의 온도에 따라 기대와 실망을 오가게 되거든요. 반대로 단계를 알면 어떤 발표가 나와도 '지금 이 성과는 어느 단계에 있구나' 하고 편안하게 자리를 잡아 줄 수 있어요. 아래는 특정 기업이나 모델을 평가하려는 글이 아니라, 앞으로 계속 나올 이런 기사를 읽기 위한 실용 지도예요.

'풀었다'는 말의 네 층을 먼저 나눠 두세요

수학에서 '문제를 풀었다'는 말은 일상어보다 훨씬 무거워요. 답을 적는 것과, 그 답이 맞다는 것을 남이 인정하는 것은 다른 일이거든요. 기사에 나오는 '풀었다'는 아래 네 층 중 어딘가에 있어요. 위로 갈수록 가볍고 아래로 갈수록 무거운 순서예요.

• ① 시험 문제를 맞혔다 — 정답이 이미 알려진 문제 모음(벤치마크)에서 높은 점수를 받은 경우예요. 능력을 재는 데는 유용하지만, 인류가 몰랐던 것을 알아낸 것은 아니에요.
• ② 미해결 문제에 답 후보를 냈다 — 아직 아무도 못 푼 문제에 증명이나 반례를 내놓은 단계예요. 여기서 '풀었다'는 기사 제목이 가장 많이 나와요. 다만 아직은 후보예요.
• ③ 전문가 검증을 통과했다 — 그 분야 수학자들이 증명을 한 줄씩 읽고 빈틈이 없다고 확인한 단계예요. 이때부터 '풀렸다'고 말해도 큰 무리가 없어요.
• ④ 학계가 받아들였다 — 동료 심사를 거쳐 정식 논문으로 실리고, 다른 연구가 그 결과를 인용해 쌓아 올리기 시작한 단계예요. 여기가 보통 교과서에 실리는 기준이에요.

같은 '난제'라도 세 갈래로 나뉘어요 — 흔히 놓치는 부분

근데 여기서 반전은, 단계만큼이나 '어떤 문제였는가'가 성과의 크기를 좌우한다는 점이에요. 기사에서 '난제'라고 부르는 문제는 보통 아래 세 갈래 중 하나예요. 셋을 구분하지 않으면 작은 열린 문제 하나가 세기의 난제처럼 읽히기도 하고, 반대로 의미 있는 성과가 반론 한 줄에 묻히기도 해요.

알고 보니 세 번째 갈래가 실제 반론에서 자주 등장해요. AI가 낸 답이 틀린 게 아니라, 이미 수십 년 전에 다른 논문에서 풀려 있었는데 문제 목록에 '미해결'로 남아 있던 경우예요. 이때 AI가 한 일은 '새로 풀기'보다 '숨어 있던 문헌을 찾아내기'에 가까워요. 그것도 쓸모 있는 일이지만, 기사 제목이 말하는 것과는 결이 달라요.

• 오래된 유명 미해결 문제 — 수십 년 넘게 많은 수학자가 도전한 문제예요. 여기서 ②단계만 도달해도 큰 뉴스가 되고, 검증도 그만큼 오래 걸려요.
• 최근에 게시된 열린 문제 — 연구자들이 공개 목록에 올려 둔 비교적 작은 문제예요. 개수가 많고 난이도가 다양해서, '수십 개를 풀었다'는 발표는 대개 이 갈래에서 나와요.
• 이미 풀렸는데 묻혀 있던 문제 — 답이 옛 논문에 있었지만 목록이 갱신되지 않은 경우예요. AI가 답을 '찾아낸' 것과 '풀어낸' 것을 구분해서 읽어야 하는 갈래예요.

발표 기사를 읽는 다섯 단계 — 다른 글에서 잘 안 알려주는 순서

솔직히 말하면, 이런 기사는 제목만으로는 판단이 거의 불가능해요. 그래서 제목의 결론 대신 기사 안의 재료를 아래 순서로 확인하는 편이 훨씬 든든해요. 다섯 단계는 어느 기업의 어떤 발표에도 그대로 대입할 수 있어요.

• 1단계 — 누가 발표했나요? 모델을 만든 회사의 발표는 '주장'으로, 그 회사와 무관한 수학자의 확인은 '평가'로 나눠 읽어요. 회사가 스스로 검증했다는 문장은 아직 ②단계라는 뜻이에요.
• 2단계 — 어떤 종류의 문제인가요? 위 세 갈래 중 어디인지 찾아요. 기사에 문제 목록 이름이 나오면 그 목록이 누가 관리하는 것인지, 문제마다 난이도 표시가 있는지 살펴보면 크기가 가늠돼요.
• 3단계 — 검증은 누가 했나요? '수학자가 확인했다'는 문장이 있으면 그 사람이 발표 주체와 어떤 관계인지, 몇 명이 어떤 방식으로 봤는지를 확인해요. 이름과 소속이 없으면 검증 단계로 치지 않는 편이 안전해요.
• 4단계 — 증명이 공개됐나요? 증명 전문이 논문 사전 공개 저장소나 공개 문서로 올라와 있으면 누구나 검토할 수 있는 상태예요. 결과만 있고 과정이 없으면 다른 연구자가 확인할 방법이 없어요.
• 5단계 — 반론이 있다면 어떤 종류인가요? 반론은 크게 '계산은 맞는데 새롭지 않다', '증명에 빈틈이 있다', '사람이 한 몫이 더 크다' 세 갈래로 나뉘어요. 어느 갈래인지에 따라 성과가 깎이는 정도가 완전히 달라요.

학계 반론이 나왔을 때 이렇게 읽으시면 돼요

여기서 많이들 헷갈리세요. 반론 기사가 나오면 '그럼 다 거짓이었구나'로 넘어가기 쉬운데, 반론은 대개 '거짓'이 아니라 '아직 검증 중이고 표현이 앞서갔다'는 신호예요. 위 다섯 번째 단계의 세 갈래를 대입해 보면 반론의 무게가 보여요. '새롭지 않다'는 반론은 성과의 크기를 줄이는 것이고, '빈틈이 있다'는 반론은 성과 자체를 보류시키는 것이고, '사람 몫이 크다'는 반론은 공을 나누자는 이야기예요.

발표 주체가 반론 뒤에 외부 자문단을 꾸리거나 검증 절차를 새로 만들었다는 후속 기사가 나오면, 그건 ②단계에서 ③단계로 가는 길을 정식으로 열었다는 뜻으로 읽으시면 돼요. 후퇴가 아니라 원래 거쳐야 할 절차를 밟기 시작한 것이에요. 이런 흐름을 알고 보면 반박 기사가 오히려 안심되는 소식으로 바뀌어요.

직접 확인해 보고 싶으시면 세 군데만 보시면 충분해요. 발표 주체의 공식 기술 문서에서 '한계'나 '검증 방법' 항목을 찾아보고, 논문 사전 공개 저장소에서 증명 전문이 올라와 있는지 확인하고, 해당 분야 수학자들이 공개적으로 남긴 검토 글이 있는지 살펴보는 거예요. 세 곳의 온도가 비슷하면 그 성과는 꽤 단단한 편이에요.

이제 '난제를 풀었다'는 기사는 이렇게 읽으시면 돼요

한 줄로 줄이면 이래요. '풀었다'가 네 층 중 어디인지, 문제가 세 갈래 중 어디인지, 검증을 누가 했고 증명이 공개됐는지, 반론은 어느 갈래인지. 이 순서로 보면 발표 기사와 반박 기사가 서로 싸우는 게 아니라 같은 성과의 다른 단계를 말하고 있다는 게 또렷하게 보여요.

처음엔 확인할 게 많아 보여도, 두세 번만 대입해 보면 제목을 보는 순간 '이건 어느 층 이야기지?' 하는 질문이 저절로 떠올라요. 이 습관 하나면 AI 연구 성과 뉴스가 쏟아져도 휩쓸리지 않고, 진짜 큰 성과가 나왔을 때 그 크기를 제대로 알아볼 수 있어요. 벤치마크와 정의 문제가 더 궁금하시면 AGI 기사 읽기 편을, 내가 받은 AI 답변을 검증하는 습관은 결과물 검증 편을 이어서 보시면 좋아요.