Googlebot

Systém procházení webu, který Google používá k vyhledání a přidání nových webů a webových stránek do svého indexu.

Googlebot je obecný název prohledávače Google. Zahrnuje dva různé typy prohledávačů: prohledávač pro počítače, který simuluje uživatele na počítači, a prohledávač pro mobily, který simuluje uživatele na mobilním zařízení.

Váš web pravděpodobně bude procházet jak Googlebot pro počítače, tak Googlebot pro chytré telefony. Podtyp Googlebota zjistíte podle řetězec user-agent v požadavku. Oba typy prohledávače se však řídí stejným produktovým tokenem v souboru robots.txt (token user-agent). Pomocí souboru robots.txt proto nelze selektivně cílit na Googlebota pro počítače ani na Googlebota pro mobily.

Zdroj článku

Googlebot - Nápověda Search Console. Google Help [online]. Copyright © 2019 Google [cit. 09.08.2019]. Dostupné z: https://support.google.com/webmasters/answer/182072?hl=cs