На Reddit кто-то задал вопрос о проблеме с лимитом на индексацию и спросил, не приводит ли большое количество перенаправлений 301 на ссылки 410 к тому, что Googlebot исчерпывает свой бюджет индексации. Джон Мюллер из Google предложил объяснение, почему пользователь Reddit может испытывать неудовлетворительный паттерн индексации, и прояснил вопрос о бюджетах индексации в целом.
Бюджет индексации
Принято считать, что у Google есть бюджет индексации, идея, которую придумали SEO-специалисты, чтобы объяснить, почему некоторые сайты не индексируются достаточно. Идея заключается в том, что каждому сайту выделяется определенное количество лимита индексаций, предел того, сколько обходов сайт имеет право получить.
Google долго утверждал, что в Google нет такого одного параметра, который можно было бы назвать бюджетом индексации, хотя способ, которым Google индексирует сайт, может создать впечатление, что есть ограничение на индексацию.
Один из ведущих инженеров Google (на тот момент) Мэтт Каттс намекнул на этот факт о бюджете индексации в интервью 2010 года. Мэтт ответил на вопрос о бюджете индексации Google, сначала объяснив, что в действительности нет такого понятия, как его представляют SEO-специалисты:
«Первое, что стоит сказать, — это то, что в действительности нет такого понятия, как предел индексации. Многие думали, что домен будет индексироваться только определенным числом страниц, и это действительно не так.
Также нет жесткого лимита на нашу индексацию.»
Вопрос на Reddit о скорости индексации
Пользователь на Reddit хотел узнать, влияют ли создаваемые ими страницы с низкой ценностью на лимит индексации Google. Вкратце, запрос на незащищенный URL страницы, которой уже не существует, перенаправляется на защищенную версию отсутствующей веб-страницы, которая отдает ответ с кодом ошибки 410 (это означает, что страница навсегда удалена).
Ответ Джона Мюллера из Google:
“301 перенаправления — это нормально, сочетание 301/410 тоже нормально.
Лимит на индексацию является проблемой только для огромных сайтов. Если вы сталкиваетесь с проблемами в этой области, и ваш сайт на самом деле не является огромным, то вероятно, Google просто не видит большой ценности в дальнейшей индексации. Это не техническая проблема.»
Причины недостаточной индексации
Мюллер отметил, что, вероятно, Google не видит ценности в дальнейшей индексации веб-страниц. Некоторые популярные SEO-специалисты, как правило, создают веб-страницы низкой ценности, лишенные оригинальности. Например, популярная практика SEO — изучение топовых веб-сайтов для понимания факторов, объясняющих, почему они находятся в топе, а затем использование этой информации для улучшения собственных страниц путем репликации того, что работает в результатах поиска.
Это звучит логично, но это не создает что-то ценное.
Если мы рассматриваем это как выбор между 1 и 0, где 0 — это то, что уже есть в результатах поиска, а 1 представляет собой что-то оригинальное и отличное, популярная тактика SEO, воспроизводящая то, что уже есть в результатах поиска, обречена создать еще один 0, веб-сайт, который не предлагает ничего более, чем то, что уже есть в поиске.
Очевидно, что есть технические проблемы, которые могут влиять на скорость индексации, такие как состояние сервера и другие факторы.
