Kun je met robots.txt pagina’s afschermen?

Je kunt met robots.txt geen pagina’s afschermen. Het bestand is voor iedereen te lezen en vermeldt juist precies welke mappen je liever verborgen houdt.

Wie kwaad wil, kijkt daar als eerste.

Zo werkt het dus averechts.

Waarom het openbaar is

Omdat elke zoekmachine het moet kunnen lezen. Het staat op een vast adres en vraagt geen inlog.

Meer daarover lees je bij wat robots.txt is.

Wat je dus niet vermeldt

De naam van je testomgeving, een map met interne documenten of een pad naar iets dat niemand mag zien.

Meer daarover lees je bij no index.

Wat wel werkt

Een wachtwoord op de map of de pagina. Dat is het enige middel dat echt afschermt.

Meer daarover lees je bij error 404.

Mijn vuistregels

1. Gevoelig: wachtwoord.
2. Niet in de resultaten: no-index.
3. Capaciteit sparen: robots.txt.
4. Nooit paden noemen die je verborgen wilt houden.

Die laatste wordt verrassend vaak overtreden.

Voor een testomgeving

Zet er een wachtwoord op. Dat houdt zoekmachines buiten én voorkomt dat je klant hem per ongeluk deelt.

Meer daarover lees je bij onpage seo.

Wat je kunt controleren

Open je eigen robots.txt in een browser en lees hem alsof je een vreemde bent. Verraadt hij iets, haal dat er dan uit.

Meer daarover lees je bij hoe je je robots.txt controleert.

Veelgestelde vragen hierover