Wat gebeurt er als je robots.txt verkeerd staat?

Een verkeerde robots.txt kan je hele site uit Google houden. Eén regel die alles blokkeert is genoeg, en binnen enkele weken ben je onvindbaar.

Het gebeurt vaker dan je denkt, meestal na een verhuizing.

Het testbestand verhuist dan mee.

De ergste variant

Een regel die elke zoekmachine van je hele site weert. Je pagina’s verdwijnen dan geleidelijk uit de resultaten.

Meer daarover lees je bij no index.

De sluipende variant

Je opmaak- en scriptbestanden blokkeren. Google kan je pagina dan niet tekenen en beoordeelt hem als kaal en onbruikbaar op mobiel.

Meer daarover lees je bij onpage seo.

Hoe je het merkt

Je verkeer zakt in, en in Search Console verschijnt een melding over geblokkeerde pagina’s.

Meer daarover lees je bij hoe je je robots.txt controleert.

Mijn vuistregels

1. Controleer bij elke lancering.
2. Blokkeer nooit je opmaak en scripts.
3. Houd het bestand kort.
4. Kijk maandelijks in Search Console.

Die laatste vangt het op voordat het maanden duurt.

Hoe je het herstelt

Haal de foute regel weg en vraag je belangrijkste pagina’s opnieuw op te halen. Binnen enkele weken kom je terug.

Meer daarover lees je bij permalink.

Wat je verliest

Tijd. Hoe langer het duurt voordat je het merkt, hoe langer je herstel duurt.

Meer daarover lees je bij error 404.

Veelgestelde vragen hierover