Crawl rate limit
Crawl rate limit v SEO: Co to je a jak ovlivňuje indexaci vašeho webu?
Pokud se zabýváte SEO, určitě jste slyšeli o indexaci – procesu, kdy vyhledávače (jako Google nebo Bing) procházejí váš web a ukládají jeho obsah do své databáze. Aby ale tento proces probíhal hladce, musí být optimalizován pro výkon vašeho serveru i pro potřeby vyhledávačů.
Jedním z klíčových faktorů, který tento proces ovlivňuje, je crawl rate limit (limit rychlosti procházení). V tomto článku si vysvětlíme: ✅ Co je crawl rate limit a jak souvisí s crawl budgetem? ✅ Proč je důležité ho správně nastavit? ✅ Jak ho optimalizovat pro lepší indexaci? ✅ Praktické tipy a nástroje pro správu crawl rate
1. Co je crawl rate limit?
Crawl rate limit (česky limit rychlosti procházení) je maximální počet požadavků, které vyhledávač (např. Googlebot) může na váš web poslat za určité časové období, aniž by přetížil váš server.
Jednoduše řečeno:
- Vyhledávač (Google, Bing) chce procházet váš web a indexovat nové nebo aktualizované stránky.
- Váš server má ale omezené zdroje (CPU, paměť, šířka pásma).
- Crawl rate limit určuje, jak rychle a jak často může vyhledávač váš web procházet, aby nedošlo k jeho zahlcení.
Příklad z praxe:
Představte si, že máte e-shop s 10 000 produkty. Googlebot chce všechny tyto stránky pravidelně kontrolovat, zda nedošlo k aktualizaci (např. změna ceny, popisů, skladem/vyprodáno).
- Pokud je crawl rate limit příliš nízký, Googlebot bude procházet stránky pomalu → nové produkty nebo změny se budou zobrazovat ve vyhledávání se zpožděním.
- Pokud je crawl rate limit příliš vysoký, váš server může být přetížen → stránky budou pomaleji načítat, nebo dokonce spadnou (chyby 503 Service Unavailable).
2. Crawl rate limit vs. crawl budget – jak souvisí?
Crawl budget (česky rozpočet procházení) je celkový počet stránek, které vyhledávač na vašem webu za určité období (např. den) prochází a indexuje.
- Crawl rate limit určuje rychlost, jakou vyhledávač prochází stránky.
- Crawl budget určuje množství stránek, které vyhledávač stačí procházet.
Vztah mezi nimi:
| Crawl rate limit | Crawl budget | Dopad na SEO |
|---|---|---|
| Nízký (pomalé procházení) | Nízký (málo stránek zaindexováno) | Nový obsah se zobrazuje ve vyhledávání pomalu. |
| Vysoký (rychlé procházení) | Vysoký (mnoho stránek zaindexováno) | Riziko přetížení serveru, chyby 5XX. |
| Optimalizovaný (vyvážený) | Optimalizovaný (důležité stránky prioritně) | Rychlá indexace bez zatížení serveru. |
Příklad:
Máte blog s 500 články, ale pouze 50 z nich je aktuálních (zbytek je starý a nezajímavý).
- Pokud Googlebot prochází všechny 500 stránek, plýtváte crawl budgetem na nepotřebný obsah.
- Pokud optimalizujete crawl rate, Googlebot se soustředí na ty nejdůležitější stránky → rychlejší indexace a lepší SEO.
3. Proč je crawl rate limit důležitý?
Správné nastavení crawl rate limitu má několik klíčových výhod:
✅ Rychlejší indexace nového obsahu
- Pokud máte dobře nastavený crawl rate, vyhledávače rychleji objeví nové stránky (články, produkty, kategorie).
- Příklad: Pokud publikujete nový článek, chcete, aby se co nejdříve objevil ve vyhledávání. Při nízkém crawl rate může trvat dny nebo týdny.
✅ Menší zatížení serveru
- Příliš vysoký crawl rate může způsobit pomalé načítání stránek nebo výpadky serveru (chyby 503, 504).
- Příklad: Pokud máte sdílený hosting, vysoký crawl rate může ovlivnit i jiné weby na stejném serveru.
✅ Lepší využití crawl budgetu
- Vyhledávače mají omezené zdroje – pokud plýtváte crawl budgetem na nepodstatné stránky (např. staré, duplicitní, chybové), ztrácíte příležitost pro indexaci důležitých stránek.
- Příklad: Místo procházení 100 starých produktů, které už nemáte skladem, by Googlebot měl procházet novinky a bestsellery.
❌ Co se stane, když crawl rate není optimalizovaný?
| Problém | Dopad na SEO |
|---|---|
| Příliš nízký crawl rate | Nové stránky se indexují pomalu → nižší viditelnost. |
| Příliš vysoký crawl rate | Přetížení serveru → pomalé načítání, chyby 5XX → horší uživatelská zkušenost a nižší ranking. |
| Nesprávné nastavení robots.txt | Googlebot prochází zbytečné stránky → plýtvání crawl budgetem. |
| Duplicitní nebo chybové stránky | Vyhledávač tráví čas procházením nepotřebného obsahu. |
4. Jak optimalizovat crawl rate limit?
Optimalizace crawl rate limitu není jen o nastavení čísel, ale o komplexním přístupu, který zahrnuje:
- Monitoring výkonu serveru
- Optimalizaci struktury webu
- Správné nastavení robots.txt a sitemap.xml
- Odstranění technických chyb
🔹 1. Sledujte výkon serveru
Než začnete něco měnit, zjistěte, jak váš server zvládá současný crawl rate.
Jak na to?
✅ Google Search Console (GSC) → Nastavení → Crawl Stats
- Zde uvidíte, kolik stránek Googlebot denně prochází a jaké jsou doby odezvy serveru.
- Ideální doba odezvy: < 500 ms (čím nižší, tím lépe).
- Pokud je doba odezvy vysoká (nad 1-2 sekundy), snižte crawl rate.
✅ Serverové logy (Access Logs)
- Zkontrolujte, jak často váš server vrací chyby 5XX (např. 503 Service Unavailable).
- Pokud je chyb příliš, snižte crawl rate nebo vylepšete hosting.
✅ Nástroje pro monitoring výkonu
- Google PageSpeed Insights (doba načítání stránek)
- GTmetrix (analýza rychlosti)
- Pingdom (monitoring dostupnosti)
Příklad:
Pokud vidíte v GSC, že Googlebot prochází 5 000 stránek denně, ale 30 % požadavků končí chybou 503, je potřeba: ➡ Snížit crawl rate (v GSC nebo přes robots.txt). ➡ Vylepšit hosting (přejít na VPS nebo dedicated server).
🔹 2. Optimalizujte strukturu webu
Čím lépe strukturovaný je váš web, tím efektivněji ho vyhledávače procházejí.
Jak na to?
✅ Zjednodušte navigaci a interní prolinkování
- Příklad: Místo 10 úrovní kategorií (Domů → Kategorie → Podkategorie → Výrobce → Model) použijte maximálně 3-4 úrovně.
- Využívejte chlebové drobky (breadcrumbs) pro lepší orientaci.
✅ Odstraňte duplicitní a nepotřebné stránky
- Příklad: Pokud máte stejný produkt pod více URL (např.
/produkt?id=123a/kategorie/produkt), použijte canonical tag nebo 301 redirect.
✅ Snižte počet dynamických URL
- Špatně:
/produkty?kategorie=telefony&vyrobce=apple&model=iphone-15 - Lépe:
/telefony/apple-iphone-15
✅ Používejte paginaci správně
- Pokud máte stovky stránek v kategorii, použijte
rel="next"arel="prev"nebo lazy loading.
🔹 3. Nastavte robots.txt a sitemap.xml správně
Robots.txt říká vyhledávačům, které stránky nemají procházet. Sitemap.xml říká, které stránky jsou důležité a měly by být zaindexovány.
Jak optimalizovat robots.txt?
✅ Blokujte nepotřebné stránky
User-agent: *
Disallow: /admin/
Disallow: /temp/
Disallow: /search/
- Příklad: Nemá smysl, aby Google procházel administrační rozhraní nebo výsledky vyhledávání.
✅ Neblokujte důležité stránky
- Špatně:
Disallow: /produkty/(Google nebude indexovat vaše produkty!) - Správně: Používejte noindex v meta tagu, pokud chcete stránku skrýt, ale nechat ji procházet.
Jak optimalizovat sitemap.xml?
✅ Zahrňte pouze důležité stránky
- Příklad: Do sitemapy patří články, produkty, kategorie, ale ne archiv starých novinek.
✅ Aktualizujte sitemapu pravidelně
- Pokud přidáte nový článek, aktualizujte sitemapu a odešlete ji do GSC.
✅ Používejte prioritní tagy
<url>
<loc>https://vase-domena.cz/novy-produkt</loc>
<priority>1.0</priority>
</url>
- Priorita 1.0 = nejdůležitější stránky (domovská stránka, klíčové produkty).
- Priorita 0.5 = méně důležité (starší články, archiv).
🔹 4. Odstraňte technické chyby
Chyby na webu plýtvají crawl budgetem a zhoršují indexaci.
Nejčastější chyby a jak je opravit:
| Chyba | Dopad | Řešení |
|---|---|---|
| 404 (Not Found) | Vyhledávač ztrácí čas procházením neexistujících stránek. | Nastavte 301 redirect na relevantní stránku. |
| 5XX (Server Error) | Přetížení serveru → Google snižuje crawl rate. | Vylepšete hosting, optimalizujte databázi. |
| Duplicitní obsah | Vyhledávač neví, kterou verzi indexovat. | Použijte canonical tag nebo 301 redirect. |
| Orphan pages (osamocené stránky) | Stránky, na které nevede žádný odkaz → nejsou procházeny. | Přidejte interní odkazy nebo je zahrňte do sitemapy. |
| Pomalé načítání (>2s) | Google snižuje crawl rate. | Optimalizujte obrázky, použijte cache, zvažte lepší hosting. |
Jak chyby najít?
✅ Google Search Console → Indexace → Pokrytí ✅ Screaming Frog SEO Spider (nástroj pro audit webu) ✅ Ahrefs / SEMrush (analýza chybových stránek)
🔹 5. Ruční nastavení crawl rate (pokročilí)
Většina webů nepotřebuje ručně nastavovat crawl rate, protože Google ho automaticky optimalizuje. Pokud ale máte velký web s vysokou návštěvností, můžete ho upravit.
Jak změnit crawl rate v Google Search Console?
- Přejděte do Google Search Console.
- Vyberte svůj web.
- Klikněte na Nastavení (ozubené kolečko) → Crawl Stats.
- V sekci "Nastavení procházení" můžete snížit crawl rate, pokud server nestíhá.
⚠ Upozornění:
- Zvýšení crawl rate může vést k přetížení serveru – dělejte to pouze, pokud máte výkonný hosting.
- Google většinou sám optimalizuje crawl rate – ruční zásahy jsou potřebné jen ve výjimečných případech.
5. Praktické tipy pro lepší crawl rate a crawl budget
🔹 Pro malé a střední weby (blogy, e-shopy do 10 000 stránek)
✅ Optimalizujte robots.txt – blokujte nepotřebné stránky (admin, košík, vyhledávání). ✅ Aktualizujte sitemap.xml a odešlete ji do GSC. ✅ Odstraňte chyby 404 a 5XX (přes GSC nebo Screaming Frog). ✅ Zlepšete rychlost webu (komprimace obrázků, cache, lepší hosting). ✅ Používejte canonical tagy pro duplicitní obsah.
🔹 Pro velké weby (e-shopy, zpravodajské portály, 100 000+ stránek)
✅ Segmentujte sitemapy (např. sitemap-produkty.xml, sitemap-clanky.xml). ✅ Používejte lazy loading pro obrázky a videa. ✅ Optimalizujte databázi (indexy, dotazy, cache). ✅ Monitorujte crawl stats v GSC a upravte crawl rate, pokud je server přetížený. ✅ Používejte CDN (Content Delivery Network) pro rychlejší načítání.
6. Časté mýty o crawl rate limitu
❌ Mýtus 1: "Čím vyšší crawl rate, tím lépe."
✅ Realita: Příliš vysoký crawl rate může přetížit server a způsobit chyby 5XX, což snižuje ranking.
❌ Mýtus 2: "Musím ručně nastavovat crawl rate."
✅ Realita: Google automaticky optimalizuje crawl rate podle výkonu serveru. Ruční nastavení je potřeba jen ve výjimečných případech.
❌ Mýtus 3: "Všechny stránky musí být procházeny stejně často."
✅ Realita: Důležité stránky (domovská, produkty) by měly být procházeny častěji než staré články nebo archiv.
❌ Mýtus 4: "Crawl budget je nekonečný."
✅ Realita: Vyhledávače mají omezené zdroje – pokud plýtváte crawl budgetem na nepotřebné stránky, důležité stránky nebudou indexovány včas.
7. Závěr: Jak správně spravovat crawl rate limit?
- Monitorujte výkon serveru (GSC, serverové logy).
- Optimalizujte strukturu webu (zjednodušte navigaci, odstraňte duplicity).
- Nastavte robots.txt a sitemap.xml správně (blokujte nepotřebné stránky, prioritizujte důležité).
- Odstraňte technické chyby (404, 5XX, duplicity).
- Ručně upravujte crawl rate pouze při nutnosti (přetížený server).
💡 Klíčové vzorce pro úspěch: ✔ Rychlý server + dobře strukturovaný web = vyšší crawl rate a lepší indexace. ✔ Méně chyb + správné robots.txt = efektivnější využití crawl budgetu. ✔ Prioritizace důležitých stránek = rychlejší zobrazování ve vyhledávání.
8. Zdroje a další čtení
- Google Search Central – Crawl rate limit. Dostupné z: https://developers.google.com/search/docs/crawling-indexing/crawl-rate
- Google Search Console – Crawl Stats. Dostupné z: https://search.google.com/search-console
- Ahrefs – Crawl Budget: Everything You Need to Know. Dostupné z: https://ahrefs.com/blog/crawl-budget/
- Moz – What Is Crawl Budget? Dostupné z: https://moz.com/blog/what-is-crawl-budget
- Screaming Frog – SEO Spider Tool. Dostupné z: https://www.screamingfrog.com/seo-spider/
Autor: Michal Binka Datum poslední úpravy: 10. října 2025