Terug naar blog overzicht

Noindex, nofollow en disallow

Artikel delen:


Hoog scoren in Google? Of toch liever niet

Hoog scoren in Google. Dat is waar het bij webshops en websites tegenwoordig om draait. Hoewel online marketeers zich elke dag bezig houden met het verbeteren van de zichtbaarheid van belangrijke pagina’s in Google, zijn er ook pagina’s waarvan je eigenlijk niet moet willen dat ze in Google verschijnen. Denk hierbij bijvoorbeeld aan het winkelmandje, de betaalpagina of een bedankt pagina, maar ook de inlog van je back-end of 404 pagina’s. Er zijn verschillende manieren om aan te geven wat een zoekmachine wel en niet mag op je website: robot meta tags en disallow in robot.txt. Door dit juist toe te passen beïnvloed je welke pagina’s niet getoond worden in de zoekresultaten van Google. Maar hoe werkt dit precies?

Hoe werkt Google? Indexeren vs. crawlen

Om de verschillen uit te leggen, moeten we eerst dieper ingaan op het verschil tussen crawlen en indexeren, de twee grootste bezigheden van Google. Als een zoekmachine door je website heen crawlt betekent dit dat hij op zoek gaat naar zo veel mogelijk nieuwe URL’s aan de hand van sitemaps en linkjes op eerder gecrawlde pagina’s. Niet alleen nieuwe websites worden gecrawld. Google ziet ook welke pagina’s niet meer bestaan of misschien gewijzigd zijn.

Indexeren gaat nog een stapje verder. Als Google een website gecrawld heeft, gaat hij deze indexeren en probeert hij de informatie op een webpagina te begrijpen. Wanneer je een zoekopdracht invoert, gaat Google alle geïndexeerde pagina’s langs, op zoek naar de meest geschikte zoekresultaten. Er zijn wereldwijd miljoenen webpagina’s, dus je kunt je vast voorstellen dat Google het erg druk heeft met het crawlen en indexeren van al deze pagina’s. Om die reden worden er per website maar een paar pagina’s per dag geïndexeerd, waardoor het soms een maand kan duren voordat een website volledig geïndexeerd is. Dan wil je natuurlijk zeker weten dat je Google de juiste sturing hebt gegeven, zodat er geen onnodige pagina’s geïndexeerd worden en Google meer tijd overhoudt voor de pagina’s die wél belangrijk zijn.

Nofollow

De kans is groot dat er linkjes op je website staan naar andere pagina’s. Deze linkjes worden ook wel backlinks genoemd en zijn voor Google erg belangrijk om de autoriteit van je website te bepalen. Handig! Want zo kun je bijvoorbeeld linken naar blogs of andere interessante pagina’s binnen je website en daarmee je eigen autoriteit verbeteren. Maar als je bijvoorbeeld een link plaatst naar de website van een concurrent, wil je natuurlijk niet hetzelfde effect bereiken. Of heb jij een pagina waar mensen reacties op kunnen plaatsen? Ook dan wil je voorkomen dat hier linkjes geplaats worden waar waarde aan toe wordt gekend. Door de nofollow tag in je broncode te plaatsen, geef je aan dat Google een specifieke link, of alle linkjes op een pagina niet mag volgen, waardoor er geen waarde aan deze links wordt meegegeven.

Noindex

Noindex is net als nofollow een robot meta tag die je in de broncode van een webpagina plaatst. Met noindex geef je heel simpel aan dat Google je webpagina niet mag indexeren. De pagina wordt wel gecrawld door zoekmachines en is nog steeds bereikbaar voor websitebezoekers, maar zal omdat hij niet geïndexeerd wordt niet in de zoekresultaten van Google verschijnen. Wil je dat je pagina niet geïndexeerd wordt, maar de linkjes op de pagina juist wel? Dan kun je gebruik maken van een combinatie van noindex en follow.

Disallow

Het verschil tussen noindex en nofollow is nu duidelijk, maar hoe zit het dan met disallow? Disallow is geen tag, maar een onderdeel van het robot.txt bestand dat elke website heeft. Disallow geeft aan dat een pagina niet gecrawld mag worden. Een pagina die niet gecrawld mag worden, kan Google niet bereiken en wordt daarom ook nooit geïndexeerd. In het robots.txt bestand zet je alle pagina’s waar Google niks te zoeken heeft, zoals het winkelmandje of de betaalpagina.

Even kort samengevat

Wanneer je geen robot meta tags of disallow in robots.txt toevoegt, beschouwt Google je pagina’s als index en follow. Alle webpagina’s zonder disallow in het robot.txt bestand zijn voor Google bereikbaar en kunnen door Google gecrawld worden. Aan de tags kan Google zien welke regels er gelden voor een pagina en op basis daarvan wordt een pagina wel of niet geïndexeerd. Dat is de reden dat pagina’s die niet gecrawled worden, ook nooit geïndexeerd kunnen worden. Let er wel altijd goed op dat je de juiste pagina’s uitsluit, want het is zonde als je door een foutje goede rankings verliest.