Hoe controleer je je robots.txt?
Je controleert je robots.txt door hem in je browser te openen: typ je domeinnaam met daarachter een schuine streep en de bestandsnaam.
Wat je daar ziet, is precies wat elke zoekmachine ziet.
Daarna toets je hem met het gereedschap van Search Console.
De eerste controle
Lees het bestand door. Sluit je iets uit dat je juist gevonden wilt hebben, dan zie je dat meteen.
Meer daarover lees je bij wat je erin zet.
De tweede controle
In Search Console kun je een adres invullen en zien of het geblokkeerd wordt. Handig bij ingewikkelde regels.
Meer daarover lees je bij onpage seo.
Waar je op let
Of je opmaak en scripts bereikbaar zijn, en of je sitemap erin staat met het volledige adres.
Meer daarover lees je bij permalink.
Mijn vuistregels
- Open hem na elke verhuizing.
- Controleer of je sitemap erin staat.
- Test een diepe pagina in Search Console.
- Kijk of er niets gevoeligs in staat.
Die eerste vangt de klassieke fout op: een testbestand dat meeverhuisde.
Het testbestand
Op een testomgeving staat vaak een regel die alles blokkeert. Verhuist die mee naar je live site, dan verdwijn je uit Google.
Meer daarover lees je bij wat er gebeurt bij een verkeerde robots.txt.
Hoe vaak
Bij elke lancering, na elke verhuizing en verder één keer per jaar.
Meer daarover lees je bij no index.