Crawlen is het proces waarbij zoekmachines automatisch websites doorzoeken om nieuwe of gewijzigde pagina’s te ontdekken. Dit gebeurt met behulp van zogenoemde crawlers of bots, die links volgen om pagina’s in kaart te brengen.
Voor een website is het belangrijk dat crawlen goed verloopt, omdat dit de eerste stap is voordat een pagina kan worden geïndexeerd en dus vindbaar wordt. Een onduidelijke sitestructuur of verkeerd ingestelde robots.txt kan crawlen onnodig belemmeren.
Een logische interne linkstructuur en een actuele sitemap.xml helpen zoekmachines om alle relevante pagina’s efficiënt te crawlen, zeker bij grotere webshops met veel producten en categorieën.