ArXiv, 100% AI 생성 논문에 철퇴를 내리다

Hero

#서론

수십 년 동안 ArXiv는 물리학, 수학, 그리고 점차 컴퓨터 과학 및 머신러닝 분야의 사전 출판(pre-print) 연구를 위한 중추적인 역할을 해왔습니다. 오리지널 트랜스포머(Transformer) 아키텍처와 같은 혁신적인 논문들이 세상에 처음 공유된 저장소이기도 합니다. 하지만 안타깝게도 많은 ArXiv 논문에서 다루고 있는 바로 그 기술이 이제 저장소의 신뢰성을 직접적으로 위협하는 존재가 되었습니다. 과학적 담론의 질을 보존하기 위한 대대적인 조치로, ArXiv는 엄격한 새로운 정책을 발표했습니다. 인공지능(AI)만으로 완전히 작성된 논문을 제출하는 저자는 플랫폼에서 1년 동안 의무적으로 퇴출됩니다.

#어떤 일이 일어났는가

최근 TechCrunch를 통해 알려진 이 발표는 학계가 생성형 AI에 대응하는 방식에 있어 중대한 변화를 보여줍니다. 문법 교정, 언어 번역, 심지어 실험 코드의 초안 작성에 AI 도구를 사용하는 것은 일상화되었고 일반적으로 용인되고 있지만, ArXiv는 '노력 제로(zero-effort)' 출판에 대해서는 단호하게 선을 긋고 있습니다.

새 정책은 대형 언어 모델(LLM)이 핵심적인 역할을 수행한 제출물을 구체적으로 겨냥합니다. 즉, 인간의 지적 개입이나 감독이 거의 없이 AI가 구조를 구상하고, 글을 작성하며, 결론을 도출한 논문을 의미합니다. 자동화된 시스템의 지원을 받는 검토 팀이 특정 논문을 100% AI가 생성했다고 판단할 경우, 해당 저자는 12개월 동안 ArXiv에 새로운 연구를 업로드할 수 없습니다.

#왜 중요한가

ArXiv가 왜 이렇게 극단적인 조치를 취하는지 이해하려면 신호 대 잡음비(signal-to-noise ratio)를 살펴봐야 합니다. ArXiv는 기본적으로 사전 출판(pre-print) 서버로 운영되므로, 논문이 출판되기 전에 동료 평가(peer-review)를 거치지 않습니다. 플랫폼은 연구자들의 선의와 무관한 이론이나 노골적인 표절을 걸러내는 기본적인 모더레이션에 크게 의존합니다.

하지만 그럴듯해 보이는 학술 논문을 생성하는 진입 장벽이 거의 0에 가깝게 낮아졌습니다. 문법적으로는 결함이 없지만 경험적 근거, 새로운 통찰력, 때로는 논리적 일관성조차 부족한 합성 생성 연구가 쏟아져 나오고 있습니다.

정보 과부하: 진짜 혁신적인 연구가 AI가 생성한 평범한 노이즈의 눈사태 속에 묻힐 위험이 있습니다. 제출물의 절대적인 양이 많아지면 모두가 유의미한 자료를 발견하기 어려워집니다.
평판 훼손: ArXiv가 봇이 생성한 텍스트의 쓰레기장으로 인식된다면, 초기 단계 과학적 발견을 위한 최고의 소스라는 신뢰를 잃게 됩니다.
리소스 고갈: 이러한 제출물을 검토하고 처리하는 데 자원봉사자와 직원의 막대한 시간이 소모되어, 플랫폼 개선에 쓰여야 할 리소스가 낭비됩니다.

#기술적 의미

소프트웨어 엔지니어링 관점에서 볼 때, 이 금지 조치의 집행은 매우 흥미로운 부분입니다. 오탐(false positive) 비율을 높이지 않으면서 AI가 생성한 텍스트를 어떻게 신뢰성 있게 탐지할 수 있을까요? 현실적으로 AI 탐지는 끊임없는 군비 경쟁과 같습니다.

ArXiv는 정책 위반자를 식별하기 위해 심층 방어(defense-in-depth)를 기반으로 한 다층적인 접근 방식을 취할 가능성이 높습니다.

통계적 텍스트 분석: 알고리즘은 낮은 *퍼플렉서티(perplexity, 다음 단어의 예측 가능성)*와 낮은 *버스트니스(burstiness, 문장 길이 및 구조의 변화)*를 찾습니다. 인간의 글쓰기는 일반적으로 더 혼란스럽고 다양합니다.
워터마킹: 모델 제공업체가 출력물에 암호화된 워터마크를 구현함에 따라, 저장소는 이러한 숨겨진 결정론적 서명을 스캔할 수 있습니다.
의미론적 일관성 검사: 현재의 AI 모델들은 여전히 밀도 높은 20페이지 분량의 기술 논문 전체에 걸쳐 장기적인 논리적 일관성을 유지하는 데 어려움을 겪고 있습니다.
메타데이터 및 참고문헌 환각(Hallucination): LLM은 종종 인용구를 만들어냅니다. 자동화된 스크립트는 확립된 데이터베이스와 참고문헌을 교차 검증하여 환각된 DOI의 비율이 높은 논문을 걸러낼 수 있습니다.

다음은 참고문헌 검증을 기반으로 기본 자동화 파이프라인이 사람의 검토를 위해 논문을 플래그 지정하는 방법을 보여주는 간단한 예시입니다.

import requests
import re

def check_citations(paper_text: str) -> str:
    """Scans text for DOIs and validates them against the Crossref API."""
    # Extract DOIs from the text using a standard regex
    dois = re.findall(r'10.\d{4,9}/[-._;()/:A-Z0-9]+', paper_text, re.IGNORECASE)
    hallucinated_count = 0
    
    for doi in dois:
        # Ping the Crossref API to verify the DOI actually exists
        response = requests.get(f"https://api.crossref.org/works/{doi}", timeout=5)
        if response.status_code == 404:
            hallucinated_count += 1
            
    suspicion_score = hallucinated_count / len(dois) if dois else 0
    
    # If more than 30% of DOIs are fake, flag it
    if suspicion_score > 0.30:
        return "High Risk: Flag for Moderation"
    return "Pass"

단일 자동화 방법으로는 완벽할 수 없지만, 이러한 신호들을 인간의 감독과 결합하면 정당한 연구자에게 피해를 주지 않으면서도 노력이 부족한 AI 쓰레기를 잡아내는 강력한 필터를 만들 수 있습니다.

#향후 전망

ArXiv의 결정은 단지 첫 번째 도미노가 쓰러진 것에 불과할 수 있습니다. NeurIPS, ICML, CVPR과 같은 주요 저장소, 학술 저널 및 주요 컨퍼런스들도 미고지된 대규모 AI 생성물에 대해 유사한 징벌적 조치를 채택할 것으로 예상할 수 있습니다.

앞으로 다가올 진정한 과제는 회색지대(gray areas)를 정의하는 것입니다. 'AI 지원'은 어디까지이고 'AI 저술'은 어디서부터 시작되는 것일까요? 실험 코드 전체를 작성하는 데 LLM 에이전트를 사용하고 논문을 직접 작성하는 것은 허용될까요? 모델을 사용하여 50개의 출처 논문을 문헌 리뷰로 종합하는 경우는 어떨까요?

과학 커뮤니티는 표준화된 공개 프레임워크를 절실히 필요로 합니다. 머지않아 오늘날의 이해상충(conflict-of-interest) 선언과 같은 역할을 하는 'AI 사용 명세서'가 모든 제출물에 의무적으로 첨부되어, 어떤 모델을 어떤 특정 목적으로 사용했는지 상세히 밝히는 것을 보게 될지도 모릅니다.

#결론

ArXiv에 전적으로 AI가 생성한 논문 제출에 대해 1년간의 금지 조치를 도입한 것은 학계에 필요한 충격 요법입니다. 이는 과학적 연구의 핵심 가치가 그럴듯하게 단어를 조합하는 능력이 아니라, 인간의 통찰력, 엄격한 방법론, 그리고 새로운 발견에 있다는 근본적인 원칙을 재확인시켜 줍니다.

엔지니어와 연구자들에게 주는 메시지는 분명합니다. AI는 우리의 워크플로우를 가속화하고, 코드를 디버깅하며, 문장을 다듬는 강력한 도구입니다. 하지만 실제 연구의 고된 노력을 대신할 수는 없습니다. 최종 결과물과 그 지적 가치에 대한 책임은 반드시 인간의 손에 남아있어야 합니다.