Homepage Kennisbank Robots.txt

Robots.txt

Robots.txt is een tekstbestand op een website waarin staat aangegeven welke delen van de site wel of niet door zoekmachines mogen worden gecrawld. Het fungeert als een soort wegwijzer voor zoekmachine-robots.

Een correct ingericht robots.txt-bestand is belangrijk, omdat een verkeerde instelling ervoor kan zorgen dat belangrijke pagina’s onbedoeld worden uitgesloten van indexering, of dat juist onnodige pagina’s worden gecrawld.