Wat zet je in een robots.txt?
In een robots.txt zet je een verwijzing naar je sitemap en hooguit een paar mappen die zoekmachines kunnen overslaan. Meer is bij de meeste sites niet nodig.
Een kort bestand is een goed bestand.
Elke extra regel is een kans op een fout.
De verwijzing naar je sitemap
Eén regel met het volledige adres van je sitemap. Daarmee weet elke zoekmachine meteen welke pagina’s je hebt.
Meer daarover lees je bij onpage seo.
Wat je kunt uitsluiten
Je beheeromgeving, interne zoekresultaten en mappen met tijdelijke bestanden.
Meer daarover lees je bij error 404.
Wat je nooit uitsluit
Je opmaak- en scriptbestanden. Google moet je pagina kunnen tekenen om hem te beoordelen.
Meer daarover lees je bij wat er gebeurt bij een verkeerde robots.txt.
Mijn vuistregels
- Sitemap erin.
- Beheeromgeving eruit.
- Opmaak en scripts nooit blokkeren.
- Blokkeer niets dat je met no-index wilt uitsluiten.
Die laatste is de klassieke fout: dan ziet Google je no-index nooit.
Wat WordPress zelf doet
Die sluit standaard je beheeromgeving uit maar laat het bestand dat formulieren afhandelt met rust. Dat is precies goed.
Meer daarover lees je bij permalink.
Bij een webshop
Daar kun je filter- en sorteeradressen uitsluiten om capaciteit te sparen. Doe dat pas als je merkt dat het nodig is.
Meer daarover lees je bij no index.