Co je to Crawl budget?
Crawl budget je objem stránek, které je vyhledávací robot schopen navštívit za určité časové období. Např. za 1 den.
Roboti totiž při jedné návštěvě často neprocházejí všechny stránky, ale pouze zlomek. Např. 1/2, či 8/10.
Přiřazování Crawl budgetu
Velikost přiřazování Crawl budgetu závisí na:
- Crawl demand (nebo-li kolik si web zaslouží pozornosti):
- Autorita domény. Jakou má web návštěvnost, zda sem vedou zpětné odkazy apod.
- Četnost aktualizací webu. Roboti nemají rády mrtvé weby s neaktualizovaných obsahem.
- Crawl limit:
- Závisí na výkonnosti vašeho serveru. Tedy jakou velikost procházení od robotů je schopen server zvládnout.
Pozor na duplicitní stránky, neexistující stránky, nebo ty, které nechcete indexovat. Zbytečně vytěžují robota.
Proč Crawl Budget řešit?
Vyhledávací robot nemusí postřehnout včas důležité aktualizace a změny na webu.
