Logfile analyse

Google crawldata inzichtelijk

Waarom een logfile analyse laten uitvoeren?

Beheer je een grote website? Dan is een logfile analyse vaak waardevol. Door onderzoek te doen naar de logfiles van een website krijgen we inzicht in hoe vaak de website bezocht wordt door o.a. Googlebot. Omdat Googlebot (de ‘spider’ van Google) maar een bepaald aantal pagina’s per keer kan indexeren, wil je graag dat dan wel de juiste pagina’s worden gecheckt. Die pagina’s kunnen namelijk in de index terechtkomen, dus vindbaar worden in de zoekmachine.

Inzicht in crawl data

De logfile analyse maakt dus inzichtelijk welke pagina’s vaak, en welke pagina’s niet vaak worden gecrawld door Google. En misschien zien we zelfs dat Googlebot sommige pagina’s nooit bezoekt. Dit kan komen door instellingen of fouten op je site. Op basis van de logfile data analyse, stellen onze SEO-experts vervolgens specifieke website verbeteringen voor. Denk aan optimalisaties aan de linkstructuur van je site.

Onze aanpak bij een logfile analyse

Om de logfile analyse te doen, hebben we als eerst de logfiles zelf nodig. Wij helpen je IT-team natuurlijk om te zorgen dat de server deze logs bijhoudt, als dat nog niet het geval is. Belangrijk is dat we niet alle logs nodig hebben. Eigenlijk hoeven we alleen te zien wanneer Googlebot, Googlebot-smartphone en Bingbot langskomen.  Vaak zijn de logfiles van 2 of 3 maanden voldoende voor een goede analyse, hoewel dit ook afhankelijk is van de grootte van de site.

Aan de slag

Als we de logfiles hebben , gaan we aan de slag. Onze consultants maken overzichten van pagina’s die veel, weinig of nauwelijks worden gecrawld. En we checken ook de sitemap.xml van je site. Zijn er bijvoorbeeld pagina’s die ontbreken in je sitemap, en niet vaak bezocht worden door Google? Dan kan het slim zijn deze toe te voegen in de sitemap. Zo controleren we een flink aantal zaken. Dit alles verwerken we in een overzichtelijke presentatie en komen we bij je op kantoor uitleggen.

  • Inzicht in crawl data
  • Advies op maat
  • Diepgaande SEO-verbeteringen

Wat is een logfile analyse?

Een logfile analyse is een onderzoek naar de serverlogs van een website. Serverlogs houden de activiteiten bij op de server. Hierin wordt bijvoorbeeld bijgehouden wie de website allemaal hebben bezocht. Een logfile analyse kan daarmee gezien worden als de bezoekersregistratie aan de receptie van een bedrijf. Ook daar wordt bijgehouden wie het gebouw binnenkomt en weer verlaat. Ook een logfile bestaat uit een lijst van momenten dat bezoekers een website zijn binnengekomen. Onder deze bezoekers vallen, in dit geval, niet alleen mensen van vlees en bloed, maar ook robots.

Binnen een logfile analyse zijn we in deze laatste groep juist bijzonder geïnteresseerd. Deze groep bestaat namelijk uit zoekmachines als Google en Bing. Zij bezoeken een website omdat zij deze graag aan hun zoekresultaten willen toevoegen. Binnen de logfiles kunnen we daarmee onder andere zien:

  • Hoe vaak een bepaalde robot een website bezoekt;
  • Welke pagina’s er worden bezocht door een robot en welke door bezoekers;
  • Welke pagina’s er foutmeldingen (404-foutmelding) genereren;
  • Welke (oude) redirects nog worden bezocht.

Voor een groot overzicht met mogelijke controles, is dit artikel van Screaming Frog waardevol.

Hoe werkt een logfile analyse?

Voor het uitvoeren van een logfile analyse hebben wij de logfiles van een website nodig. Deze staan op de server waar de website op gehost wordt. Vaak kan de beheerder van de website hierbij via de hosting provider. Deze heeft namelijk vaak toegang tot de server. Het eerste wat we bij Orangedotcom dus doen bij een logfile analyse is het verzamelen van deze logfiles. Zodra we deze hebben kunnen we de analyse starten. Door middel van speciale tooling analyseren we de logfiles. Hierbij krijgen we inzicht in de verschillende zogenaamde ‘user agents’ die de website hebben bezocht. Een user agent is bijvoorbeeld Bing, Google of Yandex. Om een vergelijking te kunnen maken met hetgeen de user agents zien en wat een bezoeker bekijkt, hebben we toegang tot Google Search Console nodig. Hiermee kunnen we analyseren welke pagina’s wel door gebruikers worden bezocht, maar niet door robots en andersom.

Uiteindelijk krijgen we zo een duidelijk beeld van de ‘probleem-pagina’s’. Op basis van deze analyse gaan we daarmee een actieplan maken om dit op te lossen. De grootte en impact van dit plan kan steeds verschillen. Dit is namelijk afhankelijk van hetgeen wij aantreffen. Maar bijvoorbeeld ook van de grootte van een website. Wanneer de optimalisaties zijn doorgevoerd, controleren we altijd of het indexeren van de website beter gaat. Dit doen we door nogmaals de logfiles te analyseren. Uiteindelijk streven we ernaar om door middel van de logfile analyse het indexeren van de website te optimaliseren om te zorgen dat je webpagina’s daarmee hoger in de zoekmachineresultaten naar voren te komen.

Samen de hoogste conversiestijging behalen?