На днях Google поделился новыми деталями работы обновлённого Googlebot, который теперь всегда будет основан на последней версии Chromium.
Старый агент пользователя

Как выяснилось, Google не поменял агента пользователя для Googlebot и по-прежнему использует старый вариант, в котором упоминается Chrome 41. При этом на самом деле краулер работает на базе Chrome 74, утверждают в компании.

https://twitter.com/g33konaut/status/1126134171888308226

Два обхода для JavaScript-страниц

Google по-прежнему обрабатывает JavaScript-контент за два обхода. Поэтому задержки в его индексации остались, но зато появилась поддержка более чем 1000 новых функций.

На вопрос, есть ли планы по объединению этих двух фаз индексации JS-контента в одну, сотрудник Google Мартин Сплит ответил стандартной фразой: «[Нам] пока не о чем объявить».

Объём сканирования останется прежним

На вопрос, изменится ли объём сканирования – т.е., не будет ли Googlebot сканировать меньше страниц при одном и том же краулинговом бюджете из-за обработки более сложных файлов – Сплит ответил, что нет.

Поддержка новых функций

Как уже сообщалось ранее, в результате обновления Googlebot получил поддержку более 1000 новых функций. Ниже – некоторые из них.

Googlebot пока обновлён не во всех инструментах Google

Googlebot используется в разных сервисах и подразделениях Google, однако не во всех из них краулер уже обновлён. Пока апдейт коснулся только поиска. При этом инструмент проверки оптимизации для мобильных устройств (Mobile Friendly Test) и другие сервисы пока не перешли на обновлённую версию Googlebot, но будут переведены на неё в будущем.

Как отметил сотрудник поиска Гэри Илш, обновить всё сразу у Google нет возможности, эта инфраструктура устроена иначе. Поэтому компании понадобится какое-то время для обновления всех своих сервисов.
Новый user-agent

Некоторые вебмастера также заметили в своих лог-файлах появление нового агента пользователя, который содержит следующие данные: Android 9.0.0 Pixel 3 XL, 01-may-2019.

В Google пока не ответили, что это за user-agent:

Напомним, что Google представил обновлённую версию Googlebot в первый день конференции для разработчиков I/O 2019.