2. Werking zoekmachines

2.1 Zoekrobots

Zoekmachines bestaan uit twee delen. Aan de ene kant de zoekmachine zelf, die u gewend bent te raadplegen als u op het Internet iets wilt zoeken. Voorbeelden hiervan zijn Google, Yahoo!, Bing, etc. U gaat naar de betreffende zoekmachine-site, typt uw zoekwoord of combinatie van zoekwoorden in, en vervolgens verschijnt een waslijst van sites die volgens de betreffende zoekmachine voldoen aan uw zoekopdracht. Omdat zoekmachines natuurlijk niet op het moment dat u de zoekopdracht intypt het hele Internet kunnen afstruinen zijn er zoekspiders, ook wel zoekrobots of kortweg bots (of in het geval van Google: Googlebot) genaamd, die 24 uur per dag het Internet afspeuren op zoek naar Internetsites. 

De inhoud van alle door de zoekrobots bezochte sites wordt opgeslagen op een groot netwerk van computers dat iedere zoekmachine tot zijn beschikking heeft. Ze maken dus een soort kopie van de gevonden pagina en slaan dit op in, wat genoemd wordt de cache van, hun eigen computers. Deze kopie bevat echter niet alle elementen van de oorspronkelijke pagina, maar alleen die zaken die de robots interessant vinden en überhaupt kunnen lezen (bij een afbeelding met tekst, kunnen ze de tekst bijvoorbeeld niet lezen). Alle gecachte gegevens van alle websites worden in een handige structuur opgeslagen opdat op het moment dat iemand een zoekopdracht opgeeft, razendsnel de zoekresultaten kunnen worden gegenereerd. De ranking van de zoekresultaten (welke website scoort hoog en welke lager) wordt via allerlei voorschriften, anders gezegd zoekalgoritmes, bepaald. 

De vraag is nu natuurlijk hoe die zoekalgoritmes er precies uitzien! Als we dat namelijk weten, dan kunnen we daar tijdens de ontwikkeling van onze site meteen zo goed mogelijk rekening mee houden.

2.2 Zoekalgoritmes

Om maar met het slechte nieuws te beginnen: de algoritmes die de werking van een zoekmachine voorschrijven, zijn geheim. Google en al die andere zoekmachines geven in principe dus geen of slechts beperkte informatie over de wijze waarop we onze site kunnen optimaliseren.

Zijn we daarmee klaar? Nee, want gelukkig is er toch veel bekend. Zo worden er bijvoorbeeld regelmatig conferenties georganiseerd waar vooraanstaande zoekmachine experts, ook uit de gelederen van de zoekmachinebedrijven zelf, toch vrij veel laten weten over de zoekalgoritmes. Daarnaast zijn er verschillende onderzoekers, ook aan universiteiten, naarstig op zoek naar de werking van de verschillende zoekmachines door te kijken welke zaken nu wel en welke zaken minder of geen effect hebben op de ranking van sites. Deze resultaten worden her en der gepubliceerd. Tot slot zijn er een aantal forums waar SEO’s (Search Engine Optimizers) met elkaar in contact staan om hun bevindingen met elkaar te delen. Ook op deze site is er zo’n forum te vinden.

Door de complexiteit van het vakgebied is SEO is inmiddels een ware wetenschap geworden, althans zou het moeten zijn. Ik heb een artikel geschreven over de vraag hoe we op dit gebied aan waarheidsvinding kunnen doen: SEO en wetenschap.

Wat dit alles extra gecompliceerd maakt is het feit dat de zoekmachinebedrijven als Google, etc. continu bezig zijn de algoritmes verder te verbeteren en te verfijnen. Google in het bijzonder is zeer fanatiek in het bestrijden van het manipuleren van hun zoekmachine. Het wordt gelukkig steeds meer zaak om de site op een integere wijze te optimaliseren. En dat kan. Veel bedrijven maken er helaas nog een potje van.

2.3 Mobile SEO

Mei 2015 heeft Google aangegeven dat er op dat moment meer zoekopdrachten gegeven werden via mobiele apparaten dan via desktop. Mobiel had desktop dus ingehaald. November 2016 heeft Google vervolgens gemeld dat de mobiele versie van de site bepalend wordt voor niet alleen de mobiele zoekresultaten maar zelfs ook de desktop zoekresultaten. Dat betekent dat u bij de optimalisatie van de website steeds goed in de gaten moet houden hoe de mobiele versie er precies uit ziet. Een belangrijke eerste stap is het ‘responsive’ maken van de site, m.a.w. het er technisch voor zorgen dat de pagina’s in de site goed leesbaar zijn op zowel desktop als mobiel.