robots meta tags

Blog

Robots meta tags: onmisbaar SEO-gereedschap

robots meta tags

Wellicht heb je weleens gehoord van noindex/nofollow, maar ben je benieuwd wat het is en hoe je het toepast. Of misschien zijn er pagina’s van je website zichtbaar in Google waarvan dat niet de bedoeling is. Dan is het goed om je eens te laten bijscholen over robots meta tags.

Daarvoor hoef je niet terug de schoolbanken in: het lezen van dit blog geeft je de informatie die je nodig hebt. We leggen je uit waar robots meta tags voor gebruikt worden, in welke gevallen je meta tags gebruikt en in welke gevallen je robots.txt en hoe je de tags toevoegt aan je site.

Noindex / nofollow

De meest gebruikte robots metatags zijn noindex en nofollow. Beide worden ook vaak in combinatie met elkaar gebruikt. Maar waar zijn ze precies goed voor?

Noindex vertelt een zoekmachine dat hij de pagina niet op moet nemen in zijn index. Dat betekent dat de pagina niet in de zoekresultaten voorkomt. Deze tag kan handig zijn als je niet wilt dat een pagina vindbaar is.

Het betekent niet dat de zoekmachine de pagina niet bezoekt. Anders kon hij immers ook de noindex-tag niet zien. Als je geen andere robots metatags gebruikt, worden de links op de pagina ook gewoon gevolgd.

De nofollow-tag vertelt een zoekmachine dat hij de links op de pagina niet moet volgen. Links geven waarde door en hiermee geef je aan dat je niet wil dat dat geldt voor de links op die pagina. Meer over links en hoe ze waarde doorgeven lees je in ons blog over linkbuilden.

Screen Shot 2018-01-03 at 10.29.01

Tot hier en niet verder!

 

Je kan ook per link aangeven dat je niet wil dat deze gevolgd wordt. Dat doe je door ‘rel=nofollow’ in de HTML aan de link toe te voegen. In de meeste gevallen is dat een betere oplossing. De nofollow robots metatag geldt namelijk voor alle links op de pagina. Als er links zijn die wel gevolgd moeten worden (zoals interne links), is dat niet zo handig.

De combinatie van noindex en nofollow wordt ook vaak gebruikt. De pagina’s waarop deze tags geplaatst worden, worden dus niet in de index opgenomen en de links worden niet gevolgd. Dat kan bijvoorbeeld handig zijn bij een testversie van je site, of een pagina die (nog) niet helemaal af is. Wel opletten dat je de tag, zodra de pagina klaar is, weer weghaalt.

Nee-nee-sticker

Géén indexatie en weergave in de zoekmachine, géén links volgen

Robots.txt of robots metatags?

We hebben al eens een uitgebreid blog over de robots.txt geschreven. In het kort zijn dit de belangrijkste verschillen tussen het uitsluiten van pagina’s in de robots.txt en het gebruiken van robot metatags:

  • Pagina’s die je uitsluit via de robots.txt worden tijdens de crawl van je website niet bezocht, pagina’s met metatags wel.
  • Pagina’s die je uitsluit via de robots.txt kunnen wel in de Google-index voorkomen als de crawler er via een externe site terecht komt. In dat geval verschijnen ze zonder metabeschrijving.
Robots metatags en robots.txt

De ene robot is de andere niet

Wanneer gebruik je dus de metatags en wanneer de robots.txt? Hier kun je de volgende regels voor hanteren:

Als er pagina’s in de zoekresultaten te zien zijn waarvan dat niet de bedoeling is, heb je een indexatieprobleem. In dat geval gebruik je noindex (en eventueel nofollow) in je robots metatags.

Als Google te veel pagina’s crawlt, wat ten koste gaat van je crawlbudget, heb je een crawlprobleem. Dan gebruik je disallow in robots.txt.

Andere robots meta tags

Naast deze twee bekende robots meta tags zijn er nog meer tags die Google begrijpt:

  • Noarchive betekent dat er geen cacheversie van de pagina in de zoekresultaten getoond wordt. Dat kan bijvoorbeeld handig zijn bij een pagina die achter een login of betaalmuur zit. Je wil dan niet dan men deze pagina toch kan bekijken zonder zijn gegevens achter te laten of te betalen.
  • Nosnippet zorgt ervoor dat er geen metabeschrijving wordt getoond in de zoekresultaten. Deze robots meta tag zal je normaal gesproken niet gebruiken.
  • None doet hetzelfde als de combinatie noindex en nofollow. Af en toe wordt deze tag door slecht geïnformeerde webmasters gebruikt om aan te geven dat er geen robots meta tags van kracht zijn. De oplettende lezer begrijpt al wat er dan misgaat: de pagina wordt onvindbaar in de zoekmachine.

Hoe je de tags gebruikt

Robots metatags plaats je in de header van de pagina. Dat is dus ergens tussen de <head> en </head> tags in de HTML. Een tag ziet er bijvoorbeeld zo uit:

<meta name=”robots” content=”noindex” />

Je kan meerdere tags combineren, maar dat is niet strikt noodzakelijk. Als je dus bijvoorbeeld noindex en nofollow beide wil toepassen, kan je dat op twee manieren doen:

<meta name=”robots” content=”noindex, nofollow” />

of

<meta name=”robots” content=”noindex” />
<meta name="robots" content="nofollow" />

 

Zo simpel is het dus. Er zijn nog een aantal kleine dingen om rekening mee te houden als je werkt met robots metatags:

  • Sommige mensen gebruiken de tags follow en index. Dat is niet nodig, want dat doet Google sowieso al. Tenzij je andere instructies geeft zullen ze je pagina gewoon indexeren en de links volgen.
  • Als je tegenstrijdige tags gebruikt, bijvoorbeeld zowel noindex als index, gaat Google uit van de strengste. In dit voorbeeld wordt de pagina dus niet geïndexeerd.
  • Of je hoofdletters of spaties gebruikt in de tags maakt niet uit.
  • Je kan een metatag ook aan een bepaalde crawler richten. Dan wordt de meta name niet ‘robots’, maar bijvoorbeeld ‘googlebot’.

Aan de slag!

Nu je dit artikel gelezen hebt, kan je robots meta tags gaan toepassen op je site. Daarmee voeg je een onmisbaar stuk gereedschap toe aan je SEO-gereedschapskist. Natuurlijk komt er bij SEO nog veel meer kijken. Wil je je site eens goed laten doorlichten om een duidelijk SEO-strategie te ontwikkelen? Neem dan vrijblijvend contact op met onze specialisten.

Zoekmachine optimalisatie

Bekijk deze dienst

Samen de hoogste conversiestijging behalen?