Оптимизация сайтов для поисковых систем — процесс непростой и кропотливый. Особенно если речь идёт о таком гиганте как Google. Индексация в нём зависит от множества факторов: качества и уникальности контента, технических характеристик сайта, внешних ссылок и так далее.
Соблюдение рекомендаций не гарантирует мгновенной оптимизации. Приходится ждать неопределённое время, пока Гугл оценит сайт и начнёт индексировать его в полном объёме.
Что такое Google Indexing API?
Google Indexing API — инструмент от самого Гугла для управления индексацией сайтов. С его помощью можно отправлять ссылки для индексирования и удаления, отслеживать статус сканирования.
Сценарии использования:
- Индексирование нового контента: API работает как прямой канал связи между сайтом и Гуглом, что улучшает видимость ссылок в поисковой выдаче.
- Обновление существующего контента: отправка страниц на индексирование в Google, чтобы изменения были учтены в результатах поиска.
- Удаление устаревших публикаций: исключение ненужного контента из индекса.
- Управление приоритетом индексирования: улучшение релевантности результатов поиска за счёт фокуса на важных ссылках.
Настройка Гугл Апи может показаться сложной задачей, но результат того стоит.
Индексатор и обход ограничений
Единственная проблема Google Indexing API — лимит 200 URL/сутки. Сканирование сайта с десятками тысяч ссылок займёт больше года, что ставит эффективность инструмента под сомнение. Однако SEO-специалисты ценят Google Indexing за лазейки, позволяющие сканировать более 5000 URL/сутки.
Способы ускорить индексацию:
- Мультиаккаунты: регистрация множества Гугл-аккаунтов и запуск обхода вручную.
- Скрипт: использование программы для цикличной обработки Google-аккаунтов в автоматическом режиме.
- Онлайн-сервис: добавление задания в SpeedyIndex, чтобы Google-bot просканировал ссылки за 48 часов.
Вместо скрипта можно пользоваться плагинами CMS. Они также автоматические обращаются к API Google Indexing и отправляют запросы на индексацию ссылок.
Как начать работу с Google Indexing API?
Прежде всего, необходимо создать проект в Google Cloud Platform. Это рабочее пространство, которое объединяет сервисы, необходимые для работы приложений и API.
Чтобы начать работу с API, нужно зайти в консоль управления Google Cloud Platform. Далее — нажать кнопку «Создать проект», ввести желаемое имя в открывшемся окне и выбрать его расположение.
Следующий шаг — создание сервисной учётной записи. Это своего рода виртуальный пользователь, который будет выполнять запросы к API от имени вашего проекта. Найдите в левом меню пункт «Сервисные аккаунты» и нажмите кнопку «Создать учётную запись».
Задайте понятное имя, описание и идентификатор. Затем можно назначить роль и права доступа к ресурсам проекта, но на первых порах это не обязательно. Просто нажмите «Далее».
На следующем экране можно предоставить доступ к учётной записи конкретным пользователям или группам. Это имеет смысл, если над проектом работает команда.
Осталось сгенерировать ключи для аутентификации. В списке учётных записей нажмите на значок многоточия рядом с нужным аккаунтом и выберите пункт «Управление ключами». Нажмите «Добавить ключ», в появившемся меню — «Создать новый ключ».
Будет предложено скачать ключ в формате JSON или P12. Выбираем JSON — этот вариант рекомендуется как более современный. Файл будет автоматически загружен на компьютер. Это и есть секретный ключ, который позволит API удостовериться, что запросы отправляет именно ваш проект.
Важно! Храните этот файл в надёжном месте и никому не передавайте. При компрометации ключа придётся заново проходить процедуру аутентификации.
А теперь можно переходить непосредственно к настройке API.
Во-первых, его нужно активировать. В левом меню консоли управления Google Cloud Platform перейдите в раздел «API и сервисы» — «Библиотека API». Найдите в списке строку «Indexing API» и нажмите синюю кнопку «Enable». Это подключит API к вашему проекту.
Далее нужно задать права на индексацию. Для этого зайдите в Search Console — это платформа для вебмастеров от Google. Добавьте туда ваш сайт, перейдите в настройки и выберите раздел «Права доступа». Нажмите «Добавить пользователя» и укажите только что созданную учётную запись сервиса.
Теперь этот сервисный аккаунт имеет права управлять индексацией вашего сайта через API. После подтверждения в Search Console для него будет также автоматически сгенерирован специальный токен доступа. Он потребуется для отправки запросов.
Настройка скрипта
Осталось доработать код веб-приложения, добавив вызовы Google Indexing API с аутентификацией через сервисный аккаунт. В запрос нужно будет передавать сгенерированный JSON-ключ, ID проекта, токен доступа из Search Console.
Время индексации с помощью скрипта:
- До 500 страниц: 3–4 недели.
- От 500 до 25 000 страниц: 2–3 месяца.
- Более 25 000 страниц: от 4 до 12 месяцев.
Скачиваем скрипт с GitHub, распаковываем и находим в папке файл service_account.json.
В него нужно скопировать содержимое ранее сохранённого ключа из Google Cloud:
- project_id,
- private_key_id,
- client_email,
- client_id
- и другие.
После этого скрипт будет авторизовываться от имени сервисного аккаунта и иметь доступ к API.
Далее подготавливаются URL-адреса, которые требуется проиндексировать. Их нужно поместить в текстовый файл urls.txt (не более 100 ссылок). После достижения лимита в 200 ссылок происходит смена аккаунт Гугла и его ключа в файле service_account.json.
Скрипт работает на библиотеках Node.js. Нужно установить последнюю версию, после чего выполнить следующие команды из папки со скриптом:
- npm install requests;
- npm audit fix;
- npm audit fix —force.
Если команды были выполнены успешно, рядом с файлами появится папка node_modules.
Теперь запускаем скрипт: он начнёт автоматически брать URL-адреса из текстового файла и отправлять их на индексацию с помощью Indexing API. Это избавляет от необходимости делать запросы вручную для каждой отдельной страницы.
У скрипта нет исполняемого файла, поэтому запуск осуществляется из командной строки. Для этого необходимо нажать комбинацию «Ctrl + Shift + правка кнопка мыши» в основной папке с urls.txt и service_account.json.
В раскрывшемся списке появится пункт «Открыть окно PowerShell здесь» — просмотр папки в терминале. Появится командная строка, в которую нужно ввести «node index.js».
Если в ответ на HTTP-запрос сервер отвечает кодом 200 ОК, значит страница отправлена Гуглу.
В процессе могут возникнуть следующие ошибки:
- 403 — «Доступ запрещён». Скорее всего, у сервисного аккаунта нет прав владельца в Search Console. Необходимо предоставить права владельца в разделе «Права доступа».
- 429 — «Слишком много запросов». Превышено допустимое количество запросов на добавление URL-адресов в индекс. Необходимо сократить количество ссылок в файле urls.txt.
Важно! В заголовках страниц и URL не должно быть эмоджи. Скрипт их не обрабатывает, заменяя дефисом. В итоге Гугл получает ошибку 404. Страницы пропадут из поиска если использовать скрипт на URL с эмоджи.
Применение плагинов
Для сайта на WordPress индексацию можно ускорить с помощью Instant Indexing. После публикации или обновления страницы этот плагин автоматически отправляет запрос в Google Indexing API. В OpenCart и других системах управления сайтами есть аналоги.
Преимущества плагинов CMS:
- Страницы индексируются быстрее, что повышает шансы занять высокие позиции в поиске.
- Результаты поиска оперативно обновляются.
- Простая настройка и автоматическая работа.
- Поддержка ручной и массовой отправки запросов на индексацию.
- Получение текущего статуса индексации страниц.
- Бесплатное использование.
Чтобы пользоваться Instant Indexing, нужно сделать следующее:
- Создайте проект Indexing API в Google Cloud Console.
- Скачайте JSON-файл с API-ключом.
- Добавьте сервисный аккаунт в Google Search Console как владельца сайта.
- Установите плагин в WordPress.
- После публикации страницы нажмите «Отправить в Google» в плагине.
Теперь после публикации или обновления ссылок они будут мгновенно отправляться на индексацию в Google. Это позволит вашему сайту быстрее попадать в топ поиска.
