robots.txt - test, vygenerování

Robots.txt: Kompletní průvodce tvorbou, testováním a optimalizací pro SEO

Robots.txt je klíčový soubor, který řídí, jak vyhledávače (jako Google, Bing nebo Seznam) procházejí a indexují váš web. Špatně nastavený robots.txt může způsobit, že důležité stránky nebudou indexovány, nebo naopak, že se do vyhledávání dostanou stránky, které tam nechcete.

V tomto článku se dozvíte: ✅ Co je robots.txt a jak funguje (i pro úplné začátečníky) ✅ Jak správně napsat a vygenerovat robots.txt (ručně i automaticky) ✅ Jak otestovat, zda robots.txt funguje správně (nástroje a postupy) ✅ Časté chyby a jak se jim vyhnout ✅ Praktické příklady pro různé typy webů (e-shopy, blogy, firemní weby)

1. Co je robots.txt a k čemu slouží?

Robots.txt je textový soubor umístěný v kořenovém adresáři webu (např. https://vasweb.cz/robots.txt). Slouží jako "návod" pro vyhledávací roboty (crawlery), které procházejí web a rozhodují, které stránky mají indexovat (ukazovat ve výsledcích vyhledávání) a které nikoli.

Co robots.txt dělá?

✔ Řídí přístup crawlerů – Můžete zakázat nebo povolit přístup k určitým částem webu. ✔ Optimalizuje crawling – Pomáhá vyhledávačům efektivně procházet váš web a šetří crawl budget (počet stránek, které vyhledávač denně prohlédne). ✔ Umožňuje uvádět sitemap.xml – Pomáhá vyhledávačům rychleji najít všechny důležité stránky.

Co robots.txt NEdělá?

❌ Nezabezpečuje web – Pokud chcete skrýt citlivé údaje (např. administraci), robots.txt nestačí! Použijte heslo, .htaccess nebo jiná bezpečnostní opatření. ❌ Nezaručuje, že stránky nebudou indexovány – Někteří crawleři (např. zločinecké boty) robots.txt ignorují. ❌ Nenahrazuje meta tag noindex – Pokud chcete stránku úplně vyloučit z indexace, použijte <meta name="robots" content="noindex">.

2. Základní syntaxe robots.txt (jak se píše)

Robots.txt používá jednoduchá pravidla ve formátu:

User-agent: [název robota]
Disallow: [cesta, kterou zakazujete]
Allow: [cesta, kterou povolujete]
Sitemap: [odkaz na sitemap.xml]

Vysvětlení základních příkazů

Praktické příklady robots.txt

🔹 Příklad 1: Povolit vše a uvést sitemap

User-agent: *
Disallow:
Sitemap: https://vasweb.cz/sitemap.xml

→ Všechny roboty mohou procházet celý web.

🔹 Příklad 2: Zablokovat administraci a přihlášení

User-agent: *
Disallow: /wp-admin/
Disallow: /login/
Disallow: /admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://vasweb.cz/sitemap.xml

→ Zakáže přístup do administrace, ale povolí admin-ajax.php (důležité pro WordPress).

🔹 Příklad 3: Zablokovat konkrétního robota (např. škodlivé boty)

User-agent: BadBot
Disallow: /

User-agent: *
Disallow:
Sitemap: https://vasweb.cz/sitemap.xml

→ Zakáže přístup pro BadBot, ostatní roboty mají volný přístup.

🔹 Příklad 4: Zablokovat všechny obrázky v určité složce

User-agent: Googlebot-Image
Disallow: /images/private/

→ Google nebude indexovat obrázky v /images/private/.

3. Jak vygenerovat robots.txt? (Ručně i automaticky)

🔹 1. Ruční tvorba (pro pokročilé)

1. Vytvořte soubor robots.txt v textovém editoru (Notepad, VS Code, Sublime Text).
2. Napište pravidla podle potřeby (viz příklady výše).
3. Uložte jako čistý text (UTF-8) – Důležité, aby soubor neměl skryté formátování!
4. Nahrajte do kořenového adresáře (např. přes FTP nebo správce souborů v hostingu).

⚠ Důležité:

• Soubor musí být přesně pojmenován robots.txt (malá písmena, bez mezer).
• Musí být v kořenovém adresáři (např. https://vasweb.cz/robots.txt).

🔹 2. Automatická generace (pro začátečníky)

🔸 a) Pomocí CMS (WordPress, Joomla, Shopify atd.)

• WordPress:
  • Použijte plugin Yoast SEO → Nástroje → Editor souborů → upravte robots.txt.
  • Nebo Rank Math → Dashboard → Edit robots.txt.
• Shopify:
  • Shopify automaticky generuje robots.txt, ale můžete ho upravit v /robots.txt.liquid (pokročilí).
• Joomla:
  • V Rozšíření → Pluginy najděte "System - robots.txt" a upravte ho.

🔸 b) Pomocí online generátorů

Některé nástroje umožňují automaticky vygenerovat robots.txt na základě vašich požadavků:

• Robots.txt Generator (SEOptimer)
• TechnicalSEO Tools
• Ryte Robots.txt Generator

⚠ Pozor: Automatické generátory nemusí znát specifické potřeby vašeho webu. Vždy zkontrolujte výsledek!

🔸 c) Pomocí hostingových nástrojů

Někteří hostinové (např. Webhosting CZ, WEDOS, Forpsi) umožňují editovat robots.txt přímo v administraci:

• cPanel → Souborový manažer → najděte robots.txt v kořenovém adresáři.
• Plesk → Soubory → upravte robots.txt.

4. Jak otestovat robots.txt? (Krok za krokem)

Špatně nastavený robots.txt může způsobit, že váš web nebude indexován! Proto je důležité ho otestovat.

🔹 1. Základní kontrola (ručně)

1. Otevřete robots.txt v prohlížeči:
   • Zadejte https://vasweb.cz/robots.txt.
   • Pokud se zobrazí 404 chyba, soubor neexistuje a musíte ho vytvořit.
2. Zkontrolujte syntaxi:
   • Žádné diakritické znaky (á, é, í, ó, ú).
   • Žádné mezery na začátku řádku.
   • Každý příkaz musí být na novém řádku.

🔹 2. Testování pomocí Google Search Console

Google Search Console (GSC) je nejlepším nástrojem pro testování robots.txt.

Postup:

1. Přihlaste se do Google Search Console.
2. Vyberte svůj web.
3. Přejděte na "Nastavení" → "robots.txt Tester" (nebo vyhledejte "Test robots.txt").
4. Vložte svůj robots.txt (nebo ho upravte přímo v nástroji).
5. Otestujte konkrétní URL:
   • Zadejte cestu (např. /admin/) a zjistěte, zda je povolená (Allowed) nebo zakázaná (Blocked).
6. Odeslat změny (pokud jste upravovali přímo v GSC).

📌 Příklad testu v GSC: (Zdroj: Google Developers)

🔹 3. Testování pomocí Bing Webmaster Tools

Pokud chcete zkontrolovat, jak robots.txt vidí Bing, použijte:

1. Přihlaste se do Bing Webmaster Tools.
2. Vyberte svůj web.
3. Přejděte na "Konfigurace webu" → "robots.txt".
4. Otestujte syntaxi a přístupnost.

🔹 4. Validace syntaxe (online nástroje)

Pokud chcete rychle zkontrolovat chyby, použijte:

• Google’s robots.txt Tester (nejspolehlivější)
• Bing’s robots.txt Analyzer
• TechnicalSEO robots.txt Tester

🔹 5. Kontrola sitemap.xml

Ujistěte se, že: ✅ Sitemap je uvedena v robots.txt (např. Sitemap: https://vasweb.cz/sitemap.xml). ✅ Sitemap je dostupná (otevřete ji v prohlížeči). ✅ Neobsahuje chyby (zkontrolujte v Google Search Console → Sitemapy).

5. Časté chyby v robots.txt a jak se jim vyhnout

6. Jak optimalizovat robots.txt pro SEO?

🔹 1. Šetřete crawl budget

• Crawl budget = počet stránek, které Google denně prohlédne.
• Zablokujte zbytečné stránky (např. /search/, /tag/, /author/).
• Povolte důležité stránky (články, produkty, kategorie).

📌 Příklad pro e-shop:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /search/
Disallow: /account/
Allow: /products/
Sitemap: https://vasweb.cz/sitemap.xml

🔹 2. Používejte Allow pro výjimky

Pokud zakazujete celou složku, ale chcete povolit některé soubory:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

🔹 3. Oddělte pravidla pro různé roboty

Někteří roboty (např. Googlebot-Image) potřebují jiná pravidla:

User-agent: Googlebot-Image
Disallow: /images/private/

User-agent: *
Disallow: /admin/

🔹 4. Nepoužívejte robots.txt pro noindex

Pokud chcete trvale odstranit stránku z indexu, použijte:

• Meta tag: <meta name="robots" content="noindex">
• HTTP hlavičku: X-Robots-Tag: noindex

7. Praktické příklady robots.txt pro různé weby

🔹 1. Robots.txt pro blog (WordPress)

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /?s=
Disallow: /?attachment_id=
Disallow: /?p=
Sitemap: https://vasblog.cz/sitemap_index.xml

🔹 2. Robots.txt pro e-shop (Shopify, WooCommerce)

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /orders/
Disallow: /account/
Disallow: /search/
Disallow: /collections/*+*
Disallow: /collections/*?*
Disallow: /products/*+*
Disallow: /products/*?*
Allow: /products/
Allow: /collections/
Sitemap: https://vaseshop.cz/sitemap.xml

🔹 3. Robots.txt pro firemní web

User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /private/
Disallow: /tmp/
Disallow: /backup/
Allow: /
Sitemap: https://vasfirma.cz/sitemap.xml

8. Často kladené dotazy (FAQ)

❓ Musím mít robots.txt?

✅ Není povinný, ale doporučuje se. Bez něj vyhledávače procházejí vše, což může být neefektivní (plýtvání crawl budgetem).

❓ Jak zjistit, zda robots.txt blokuje důležité stránky?

1. Použijte Google Search Console → "Test robots.txt".
2. Zkontrolujte Index Coverage Report (zda nejsou stránky vyloučené).

❓ Může robots.txt zlepšit SEO?

✅ Ano, ale nepřímo.

• Šetří crawl budget (vyhledávače se soustředí na důležité stránky).
• Zabraňuje indexaci duplicitního obsahu (např. /tag/, /category/).
• Zlepšuje rychlost crawlování (vyhledávače neplýtvají čas na zbytečné stránky).

❓ Co když omylem zablokuju důležité stránky?

1. Opravte robots.txt.
2. Požádejte o znovuprocházení v Google Search Console ("Inspekce URL" → "Požádat o indexaci").

❓ Jak zablokovat všechny roboty kromě Google?

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

User-agent: *
Disallow: /wp-admin/
Sitemap: https://www.vasestranka.cz/sitemap_index.xml

Sitemap: https://www.vasestranka.cz/sitemap_index.xml

Sitemap: /sitemap_index.xml

9. Závěr: Jak správně pracovat s robots.txt?

1. Vytvořte nebo upravte robots.txt (ručně nebo pomocí nástrojů).
2. Otestujte ho v Google Search Console a Bing Webmaster Tools.
3. Zkontrolujte, zda neblokuje důležité stránky.
4. Pravidelně aktualizujte (při změnách struktury webu).
5. Nepoužívejte ho jako bezpečnostní opatření (pro citlivé údaje použijte .htaccess nebo heslo).

🚀 Pokud si nejste jisti, použijte tento základní template:

User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /private/
Allow: /
Sitemap: https://vasweb.cz/sitemap.xml

10. Zdroje

• GOOGLE DEVELOPERS. Robots.txt specifications [online]. Google, 2023 [cit. 20.9.2025]. Dostupné z: https://developers.google.com/search/docs/advanced/crawling/robotstxt
• BING. Bing Webmaster Tools – robots.txt Tester [online]. Microsoft, 2023 [cit. 20.9.2025]. Dostupné z: https://www.bing.com/webmasters/tools/robots-txt
• MOZ. The Beginner’s Guide to robots.txt [online]. Moz, 2022 [cit. 20.9.2025]. Dostupné z: https://moz.com/learn/seo/robotstxt
• SEOPRESS. How to Create and Optimize Your robots.txt File [online]. SEOPress, 2023 [cit. 20.9.2025]. Dostupné z: https://www.seopress.org/robots-txt-seo/

Autor: Michal Binka Datum poslední úpravy: 20.9.2025 Model: Mistral Large (AI aplikace OCTODEEP)