유용한 AI 수학 발표는 결과를 재구성할 수 있어야 한다. 어떤 문제를 시도했고 무엇을 증명했으며, 형식 명제가 원래 질문과 일치하는지는 누가 확인했는가? AlphaProof Nexus는 이를 살펴볼 구체적인 자료를 제공한다. 동시에 증명 개수만으로 평가하기 어려운 이유도 보여준다.
원문 보도는 5월 사전 논문에 이어 2026년 10월 8일 Science에 실린 연구를 설명한다. 논문은 선택된 Erdős 문제 353개 중 9개를 해결했다고 보고하며, 그중 2개는 56년간 미해결이었다. OEIS 추측에서도 492개 중 44개를 증명했다고 한다. 준비된 문제 집합의 성적이지, 임의의 수학 질문에 대한 성공률은 아니다.
전체 시도 집합부터 본다
353개 중 9개는 약 2.5%다. 나머지 344개 시도 역시 방법의 현재 한계를 보여주므로 평가에 포함해야 한다. 문제는 Lean으로 표현할 수 있어야 했고 기존 형식 라이브러리의 지원도 필요했다. 따라서 모델 능력뿐 아니라 문제 선택, 라이브러리 범위, 계산 자원이 측정 결과를 좌우한다.
근거는 Science 논문, 사전 논문, 공개 증명 저장소에 있다. 성공한 파일은 논리 검증을 가능하게 하고, 실패한 형식화는 평가 범위를 드러낸다.
세 가지 정확성을 구분한다
Lean은 입력된 정의와 가정에서 증명이 따라오는지 검사한다. 그 정의가 의도한 원래 문제를 충실하게 표현했는지는 별도의 검토다. 바뀐 수량자, 빠진 경계 조건, 더 강한 가정 때문에 유효한 증명이 더 약한 질문에 답할 수 있다.
새로운 성과인지도 따로 살펴야 한다. 기존 정리가 시스템이 독립적으로 증명한 결과를 이미 함의할 수 있기 때문이다. 원문 보도는 보고된 한 사례의 새로움에 의문을 제기한 감사를 언급한다. 이는 형식적 도출을 무효로 만들지는 않지만 새로운 연구라는 주장의 범위를 바꾼다. 전문가 반응이 이 구분을 설명한다.
에이전트가 더한 가치를 확인한다
기본 과정은 Lean 코드를 생성하고 검사한 뒤 컴파일러 피드백으로 실패를 수정한다. 복잡한 구성은 협력 탐색과 전문 증명기 AlphaProof를 추가한다. 그런데 가장 단순한 보고 구성도 그 전문 도구 없이 같은 아홉 Erdős 문제를 해결했다.
따라서 복잡한 구조에 성과를 돌리기 전에 구성 요소를 제거한 실험을 봐야 한다. 모델과 검증기의 직접 순환이 성적 대부분을 설명할 수 있다. 추가 구성은 다른 과제에서 유용할 수 있지만 성공 증가, 전체 비용 감소, 연구 지원 개선으로 가치를 입증해야 한다.
연구 전체의 비용을 계산한다
성공한 추론 실행은 비용의 일부다. 실패한 탐색, 형식화, 라이브러리 유지, 전문가 검토, 형식 증명을 이해 가능한 설명으로 바꾸는 작업도 성과에 기여한다. 이를 뺀 성공 단가는 발견의 전체 비용을 나타내지 않는다.
시험 도입에서는 문제 진술, 시도한 전략, 기계 검증 가능한 산출물, 계산 지출, 사람의 개입을 함께 보존해야 한다. 형식화의 충실성을 먼저 보고, 증명을 검증한 다음, 새로움과 설명 가치를 평가한 뒤 새 해결이라고 표현하는 것이 적절하다.
더 넓은 교훈은 에이전트 설계 방식이다. 확률적 생성에 엄격한 평가기를 연결하고 유용한 중간 작업을 남기며 자동 검사의 경계 밖에 전문가의 주의를 배치한다. 원래 보도는 범위가 명확하고 실용적인 이 결론을 뒷받침한다. 증명 개수와 함께 독립 감사, 이전에 실패했던 문제에서의 향상도 평가해야 한다.