robots.txt

Wat is een robots.txt?

Voordat een zoekmachine de pagina’s op jouw website gaat crawlen (doorlopen), probeert het eerst het robots.txt op te halen om te kijken of er speciale instructies zijn. Een robots.txt is een bestand die zoekmachines vertelt hoe ze jouw website het beste kunnen crawlen, kun je zoekmachines toegang tot bepaalde delen van jouw website verbieden en er duplicate content problemen mee voorkomen.

Een robots.txt wordt vooral gebruikt om te voorkomen dat je site wordt overspoeld met verzoeken.

Als er geen robots.txt bestand aanwezig is dan gaan zoekmachines ervan uit dat ze de hele website mogen crawlen. Houd er rekening mee dat een robots.txt slechts richtlijnen bevat voor zoekmachines, het is geen verplichting voor een zoekmachine. Zoekmachines kunnen ervoor kiezen om het robots.txt geheel of gedeeltelijk te negeren.

Het Begrip

robots.txt