Google выделяет каждому имени хоста свой собственный бюджет сканирования. Это означает, что каждый домен, субдомен и т. д. имеет свой уникальный краулинговый бюджет.
Это было поднято в комментариях к сообщению LinkedIn , где Тони Маккрит задавал Google вопросы о краулинговом бюджете, связанные с сканированием страницы в домене A, которая загружает ресурс из домена B (другой сервер).
Джон Мюллер из Google ответил: «Они независимы».
Тогда бывший сотрудник Google Педро Диас написал: «На самом деле, оно распределяется по имени хоста, верно? Таким образом, даже в пределах одного домена несколько поддоменов могут иметь свои собственные ограничения скорости сканирования».
Гэри Иллис из Google подтвердил истинность этого утверждения, ответив: «Правильно».
Сообщение:
