AI 크롤러 부하를 고려한 오픈 아카이브 설계

공개 기술 아카이브에는 사람이 프로젝트의 근거를 확인하고 기계가 페이지마다 허가를 구하지 않고 정보를 가져올 수 있다는 약속이 있습니다. 사람이 읽도록 만든 인터페이스를 한도 없는 추출 API처럼 다루는 클라이언트가 생기면 이 약속은 약해집니다. kernel.org가 공개한 측정은 공공 데이터를 닫아야 한다는 주장이 아닙니다. 클라이언트가 고른 표현 방식이 개방성의 비용을 누가 부담하는지 결정한다는 경고입니다.

Kernel.org는 네이티브 Git 전송 대신 렌더링된 커밋 페이지를 반복 요청하는 지속적 트래픽을 설명합니다. 이 수치가 모든 클라이언트를 식별하거나 모든 요청이 특정 AI 회사에서 왔다고 증명하지는 않습니다. 하지만 코드 브라우저, 문서 사이트, 공개 데이터베이스, 이슈 추적기에 공통인 문제를 드러냅니다. 유한한 자료 모음도 서버에는 사실상 무한한 수의 비싼 HTML 보기를 노출할 수 있습니다.

요청 수가 아닌 표현 방식의 비용을 모델링하기

두 URL이 전혀 다른 작업을 유발한다면 요청 카운터만으로는 용량을 판단할 수 없습니다. 저장소 clone은 클라이언트가 로컬에서 순회할 수 있는 정리된 객체를 전달합니다. 반면 커밋 페이지는 이력 해석, 렌더러 실행, 탐색 구성, 새 HTML 생성을 요구할 수 있습니다. 둘 다 공개 읽기이지만 CPU, 캐시, 운영 주의력을 다르게 소모합니다.

먼저 공개 경로군을 목록화하세요. 정적 전달, 캐시 조회, 데이터베이스 질의, 저장소 순회, 전문 검색, diff 생성, 서버 렌더링 중 무엇이 일어나는지 기록합니다. 여기에 중앙값과 꼬리 지연, CPU 시간, 캐시 적중률, 클라이언트별 고유 URL 수, 응답 대비 유용한 작업 비율을 붙입니다. 그러면 끝없는 매개변수 조합에 트래픽을 흩뿌리는 클라이언트를 볼 수 있습니다. 공개 URL이 안정적인 콘텐츠 단위라고 가정하지 마세요. 하나의 커밋도 여러 보기로 나타날 수 있고, 필터·정렬·페이지네이션은 무수한 변형을 만듭니다.

대량 사용자를 위한 저비용 우선 경로 제공

푸터에 숨긴 대량 내보내기는 접근 전략이 아닙니다. 네이티브 프로토콜, 스냅샷, 문서화된 API, RSS/Atom 또는 서명된 덤프가 있다면 무엇을 답하고 언제 변하는지 명확히 설명하세요. 사람용 인터페이스 근처와 적절한 기계 발견 지점에서 연결해야 합니다. 원하는 행동이 페이지별 스크래핑보다 쉬워야 합니다.

소스 아카이브에서는 커밋 화면을 걷는 대신 clone이나 fetch를, 공개 기록에서는 날짜가 붙은 내보내기와 증분 피드를, 문서에서는 안정적 식별자를 가진 버전 묶음을 제공할 수 있습니다. 이런 형식은 재현성도 높입니다. 다만 페이지 크기, 커서 규칙, 필드 한계, 변경 의미론의 경계가 필요합니다. 무제한 검색, 임의 조인, 모든 과거 개정을 허용하는 ‘효율적’ 엔드포인트는 비싼 작업을 다른 URL 뒤로 옮길 뿐입니다.

사람용 페이지는 유용하게, 기계 작업은 예산 안에

사람이 읽는 페이지는 검토, 링크, 접근성, 일반 검색에 계속 필요합니다. 안정된 응답을 캐시하고, 무해한 URL 변형을 정규화하며, 페이지네이션을 제한하고, 무한 필터 조합을 피하세요. canonical URL은 독자와 크롤러를 같은 문서에 모아 캐시 키 증식을 줄입니다.

제한은 비용을 따라야 합니다. 가벼운 정적 페이지와 요청 시 생성하는 diff·검색의 허용량은 다릅니다. 비싼 작업 자체에 동시성 한계와 타임아웃을 걸고, 일반 방문자·미러·협업자를 위한 용량을 남기세요. 캐시 결과, Retry-After, 대량 형식 링크는 과부하 렌더러가 예측 불가능하게 실패하는 것보다 나은 경우가 많습니다.

방어가 접근성을 보존하는지 측정하기

robots 규칙은 선호를 전달하지만 RFC 9309에서 권한 통제가 아닙니다. 크롤러 안내, 속도 제한, 관측성과 함께 공개 계약의 일부로 다뤄야 합니다. 협력적인 클라이언트는 자신을 밝히고 연락처를 제공하며 문서화된 한계를 따르고 가장 싼 표현 방식을 선택해야 합니다. 식별자가 없거나 오해를 부를 때에도 작동하는 기술적 통제가 필요합니다.

챌린지 페이지나 광범위한 IP 차단은 부하 그래프를 낮추는 동시에 독자, 보조 기술, 미러, 합법 자동화를 배제할 수 있습니다. 비용이 큰 경로 볼륨, 고유 경로 증가, 렌더러 포화와 함께 정상 방문 실패와 유용한 경로의 지연을 측정하세요. 이식 가능한 대량 데이터, 읽기 쉬운 사람용 페이지, 계산 집약 경로의 확실한 예산은 영구 과부하 없이 아카이브를 열어 둡니다.