크롤링 엔드포인트의 Content Signals 지원
알아둘 만함Cloudflare
/crawl 엔드포인트가 Content Signals의 use 지시어를 준수하게 되었습니다. 이를 통해 사이트 소유자는 콘텐츠 사용의 최대 수준을 표현할 수 있습니다. 새로운 contentUse 매개변수를 사용하여 의도한 사용 수준을 선언할 수 있으며, 허용되는 값은 reference와 full입니다. 기본값은 full이며, 타겟 사이트의 robots.txt가 선언된 contentUse보다 더 제한적인 사용 수준을 설정한 경우, 크롤링 요청은 400 오류로 거부됩니다.
영향 중간·대상 Cloudflare 사용자 · 인프라·배포
왜 중요한가
이 변경사항은 웹사이트 소유자와 개발자에게 중요한 영향을 미칩니다. 사이트의 콘텐츠 사용을 보다 세밀하게 제어할 수 있게 되어, 원치 않는 사용을 방지할 수 있습니다. 이를 무시할 경우, 크롤링 요청이 거부되어 사이트의 콘텐츠가 제대로 수집되지 않을 수 있습니다.
지금 해볼 것
- robots.txt 파일에서 설정된 use 수준 확인
- contentUse 매개변수 사용법 검토
- 기존 크롤링 요청의 오류 처리 방식 점검
- API 호출 시 contentUse 값 설정 여부 확인
뎁스노트의 제안
이 기능은 웹사이트의 콘텐츠 사용을 보다 명확하게 관리할 수 있는 기회를 제공합니다. 현재 베타 상태이므로, 초기 사용 후 피드백을 통해 개선점을 찾는 것이 좋습니다. 특히 콘텐츠 관리 팀과 협력하여 이 기능을 활용할 수 있는 방안을 모색하는 것이 유용할 것입니다.
출처 · Cloudflare 공식 업데이트 · 2026.08.31
공식 원문 보기Cloudflare를 사용하시나요?
중요한 변경만 받아보세요.