Crawling je proces, při kterém webový vyhledávač prochází internet a sbírá informace o různých webových stránkách. Tento proces je základním krokem pro indexaci webu a umožňuje vyhledávačům jako Google, Bing nebo Yahoo! najít a zaznamenat obsah různých webových stránek. Během crawlingu vyhledávačový robot, nazývaný také "spider" nebo "crawler," následuje odkazy na jednotlivé stránky a stahuje obsah, který je následně zpracováván a indexován, což umožňuje uživatelům vyhledávat a najít relevantní informace na internetu. Crawling je nezbytným krokem pro efektivní fungování vyhledávačů na internetu.