Wat is robots.txt?
Robots.txt is een tekstbestand in de hoofdmap van je website. Het vertelt zoekmachines welke delen van je site ze niet hoeven te bezoeken.
Het is een verzoek, geen slot.
Nette zoekmachines houden zich eraan; kwaadwillende bezoekers niet.
Waar het staat
Altijd op dezelfde plek: direct achter je domeinnaam. Elke zoekmachine kijkt daar als eerste.
Meer daarover lees je bij hoe je je robots.txt controleert.
Wat erin staat
Regels per zoekmachine over welke mappen ze mogen overslaan, plus een verwijzing naar je sitemap.
Meer daarover lees je bij wat je erin zet.
Wat het niet doet
Pagina’s uit de zoekresultaten houden. Daarvoor heb je een no-index nodig.
Meer daarover lees je bij no index.
Mijn vuistregels
- Houd het kort.
- Zet je sitemap erin.
- Blokkeer niets dat je uit Google wilt houden.
- Controleer het na elke verhuizing.
Die derde is de meest gemaakte denkfout.
Wat WordPress standaard doet
Die maakt een virtueel bestand aan met een paar basisregels. Er staat geen echt bestand op je server, tenzij je het zelf plaatst.
Meer daarover lees je bij onpage seo.
Waarom het bestaat
Om servercapaciteit te sparen bij grote sites. Een zoekmachine hoeft dan niet elke administratieve map te doorlopen.
Meer daarover lees je bij error 404.
Wat ik in de praktijk zie misgaan
Het bestand wordt gebruikt om iets te verbergen, en daar is het niet voor.
Ik kom regelmatig een regel tegen die een hele map blokkeert omdat daar iets in staat wat niet openbaar mag zijn. Dat werkt averechts: het bestand is voor iedereen te lezen, dus je hebt precies opgeschreven waar het interessante materiaal staat. Wie het echt zoekt, kijkt daar als eerste.
De tweede fout is een blokkade die is blijven staan uit de bouwperiode, waardoor je halve site nooit is bekeken.
Wat ik daarom aanhoud: wat geheim moet blijven, zet je achter een wachtwoord of laat je van de server af. Wat wel openbaar mag zijn maar niet in de zoekresultaten hoort, geef je een instructie op de pagina zelf.
Het bestand gebruik ik alleen nog om zoekmachines geen tijd te laten verdoen aan mappen zonder inhoud, en om te verwijzen naar de sitemap.
Meer daarover lees je bij indexering.