Robots.txt
Login bij Digivotion SEO
Login bij Digivotion en navigeer naar het SEO deel.
U komt meestal in Manage - Pages terecht. Klik in het hoofdmenu op Manage > Robots.
Wat is robots.txt
Een robots.txt-bestand is een tekstbestand op een website dat zoekmachines vertelt welke pagina’s of secties van de site ze wel of niet mogen bekijken (crawlen). Het helpt website-eigenaren om gevoelige of onbelangrijke pagina’s, zoals inlogpagina's of testbestanden, uit zoekmachines te houden.
Het bestand staat meestal in de hoofdmap van de site (bijvoorbeeld www.example.com/robots.txt) en bevat eenvoudige regels, zoals "allow" (toestaan) en "disallow" (niet toestaan), waarmee de toegang voor zoekmachines wordt geregeld.
Digivotion regelt dit meestal voor de klant.
