Crawl budget je v SEO pojem, který udává, kolik pozornosti je crawler vyhledávače ochoten věnovat konkrétnímu webu. Jinými slovy, jedná se o počet stránek, které si crawler projde a uloží do indexu za určité časové období.
Proč je crawl budget důležitý?
Crawl budget je obzvlášť důležitý u velkých webů a e-shopů s desítkami tisíc stránek a více.
U nich hrozí, že crawler vyčerpá svůj čas na stránkách s nízkou hodnotou, které nemají potenciál přivádět velkou návštěvnost.
Důležité stránky se tak do indexu vyhledávače nedostanou a nebudou se zobrazovat ve výsledcích vyhledávání.
Faktory ovlivňující crawl budget
Crawl budget je ovlivněn mnoha faktory, mezi které patří:
- Autorita webu: Čím větší autoritu web má (např. na základě zpětných odkazů), tím větší crawl budget mu vyhledávače obvykle přidělí.
- Množství a kvalita obsahu: Webové stránky s unikátním a kvalitním obsahem obvykle dostávají větší crawl budget než stránky s duplicitním nebo nekvalitním obsahem.
- Technická optimalizace: Technické problémy na webu, jako jsou pomalé načítání stránek nebo chyby v robots.txt, mohou crawl budget negativně ovlivnit.
- Aktualizace webu: Webové stránky, které jsou pravidelně aktualizovány o nový obsah, dostávají obvykle větší crawl budget než stránky, které se nemění.
Jak optimalizovat crawl budget?
Existuje několik tipů, jak optimalizovat crawl budget a zajistit, aby crawler vyhledávače indexoval ty nejdůležitější stránky na vašem webu:
- Zmapujte strukturu webu: Pomocí nástrojů jako Google Search Console nebo Screaming Frog SEO Spider si prohlédněte strukturu webu a identifikujte případné problémy s navigací nebo duplicitním obsahem.
- Vytvořte a zkontrolujte soubor robots.txt: Soubor robots.txt slouží k instruování crawlerů, které stránky na webu mají procházet a které ne.
- Optimalizujte rychlost načítání stránek: Pomalé načítání stránek může crawl budget negativně ovlivnit. Optimalizujte proto obrázky, CSS a JavaScript, abyste stránky zrychlili.
- Pravidelně aktualizujte obsah: Pravidelné publikování nového obsahu signalizuje crawlerům, že je váš web aktivní a relevantní.
- Odstraňte nefunkční zpětné odkazy: Nefunkční odkazy (404) zbytečně plýtvají crawl budgetem. Odstraňte je proto ze svého webu.
Crawl budget je důležitý faktor, který ovlivňuje, jak se váš web zobrazí ve výsledcích vyhledávání. Optimalizací crawl budgetu a zajištěním, aby crawler vyhledávače indexoval ty nejdůležitější stránky na vašem webu, můžete zlepšit pozice svého webu ve vyhledávání a zvýšit tak organickou návštěvnost.
Jaké služby nabízíme?
Zdroje článku:
Crawl Budget Management For Large Sites | Google Search Central | Documentation | Google for Developers [online]. [cit. 19. 02. 2024]. Dostupné z: https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget
What is Crawl Budget? And Why Does It Matter for SEO? [online]. [cit. 19. 02. 2024]. Dostupné z: https://backlinko.com/hub/seo/crawl-budget
Přečtěte si náš SEO slovník pojmů nebo Marketingový slovník pojmů.