Что такое краулинговый бюджет в Google?

Под краулинговым спросом определяют число страниц, которые требуется просканировать поисковой системе. Значение основывается на том, насколько сайт актуален при запросах.

Краулинговым бюджетом называют объединенный показатель краулингового спроса, а также уровня скорости при сканировании. Для поисковых систем это число URL, которые могут быть просканированы посредством Googlebot (здесь принимают во внимание как альтернативные URL, так контент, являющийся встроенным).

Влияют на это страницы низкого качества, а именно следует говорить о  фасетной навигации; страницах, которые были взломаны или выдают ошибку-404, страницах-дубликатах и спаме, а также тех, на которых обнаружен бесконечный контент.

Если у сайта высокие показатели скорости, то это свидетельствует о качественной работе сервера. Сотрудники компании советуют не допускать большого количества ошибок у серверов, что указывается в соответствующих отчетах Search Console. Однако это не может в обязательном порядке способствовать тому, что сайт окажется выше на несколько позиций.

Директива «crawl-delay» и вовсе не обрабатывается Googlebot. Что касается директивы «nofollow», то ссылка с ней может быть просканирована, если на остальных страницах в сети она не отмечена таким образом.