Wat is het verschil tussen crawlen en indexeren?
Het verschil tussen crawlen en indexeren is dat crawlen het ophalen van je pagina is en indexeren het opnemen ervan in de zoekindex.
Het eerste gebeurt regelmatig zonder het tweede. Google haalt je pagina op, kijkt ernaar en besluit hem niet op te nemen.
Dat onderscheid verklaart de meeste meldingen in Search Console.
Crawlen
Een programma volgt links en haalt pagina’s op. Hoeveel het er per bezoek ophaalt, hangt af van hoe snel je server is en hoe belangrijk je site lijkt.
Dat heet je crawlbudget. Meer daarover lees je bij google search console.
Indexeren
De beslissing om de pagina op te nemen. Daarbij kijkt Google of hij iets toevoegt en of hij niet te veel lijkt op iets dat er al is.
Meer daarover lees je bij canonical url.
Waarom het uitmaakt
De oplossing verschilt per probleem. Wordt je pagina niet gecrawld, dan is het een kwestie van links en bereikbaarheid.
Wordt hij wel gecrawld maar niet opgenomen, dan is het een kwestie van inhoud. Meer daarover lees je bij evergreen content.
Mijn vuistregels
- Niet gecrawld? Kijk naar links, sitemap en je robotsbestand.
- Wel gecrawld, niet opgenomen? Kijk naar je inhoud.
- Blokkeer nooit een pagina die je juist uit de index wilt houden.
- Zorg dat je server snel genoeg is; dat vergroot je crawlbudget.
Die derde is een klassieke fout: blokkeer je een pagina in je robotsbestand, dan kan Google de instelling om hem niet op te nemen niet lezen.
Het crawlbudget
Bij een site van vijftig pagina’s speelt dat niet. Bij een webshop met tienduizend adressen wel.
Dan is het zonde als de helft van dat budget naar filtercombinaties gaat. Meer daarover lees je bij informatiearchitectuur.
Wat je in Search Console ziet
Per pagina of hij gecrawld is, wanneer, en of hij is opgenomen. Dat maakt de diagnose eenvoudig.
Meer daarover lees je bij waarom je pagina niet in Google staat.