Wat is het verschil tussen no-index en robots.txt?
No-index zegt tegen een zoekmachine: bezoek deze pagina gerust, maar toon hem niet. Robots.txt zegt: kom hier helemaal niet.
Dat klinkt hetzelfde, maar het gevolg verschilt.
Voor uitsluiten uit de resultaten heb je no-index nodig.
Waarom robots.txt niet uitsluit
Google kan een geblokkeerde pagina alsnog tonen als andere sites ernaar linken. Hij toont dan een kaal resultaat zonder omschrijving.
Meer daarover lees je bij indexering.
De valkuil
Beide tegelijk gebruiken. Blokkeer je in robots.txt, dan ziet Google je no-index nooit en blijft de pagina staan.
Meer daarover lees je bij wat no-index is.
Waar robots.txt wel voor is
Voor het besparen van bezoekcapaciteit op grote sites, en voor mappen die niemand hoeft te bekijken.
Meer daarover lees je bij google search console.
Mijn vuistregels
- Uit de resultaten houden: no-index.
- Bezoek besparen: robots.txt.
- Nooit allebei op dezelfde pagina.
- Bij twijfel alleen no-index.
Die laatste is bijna altijd het juiste antwoord.
De volgorde bij een fout
Staat een pagina onterecht in Google en heb je hem in robots.txt geblokkeerd, haal die blokkade dan eerst weg. Zet daarna no-index aan.
Meer daarover lees je bij hoe je een pagina uit Google haalt.
Wat er in robots.txt hoort
Een verwijzing naar je sitemap en hooguit een paar mappen die je afschermt.
Meer daarover lees je bij metatag.