Technische SEO: van crawling tot een betrouwbare architectuur.

Crawling. Een crawler haalt een URL en eventueel aanvullende bestanden op. Hij kan de URL ontdekken via interne links, externe verwijzingen en sitemaps. Controleer of belangrijke pagina’s bereikbaar zijn via gewone links met een href en of de server antwoord geeft. Een pagina die alleen via een intern zoekformulier bestaat, heeft een zwakkere ontdekroute. Serverlogs kunnen laten zien welke verzoeken zijn gedaan; ze vertellen niet automatisch waarom een pagina wel of niet wordt geïndexeerd.

Indexering. Na het ophalen probeert de zoekmachine de inhoud te verwerken en een geschikte versie te selecteren. Crawlen betekent dus niet dat een pagina in de index staat. Een noindex-instructie, duplicaten of onvoldoende bruikbare inhoud kunnen opname verhinderen. Controleer een concrete URL en de geselecteerde canonical in Search Console. Een rapportmelding is een startpunt voor onderzoek, geen complete diagnose. Ook een 200-response en een plaats in de sitemap garanderen geen indexering.

HTTP-statuscodes. Een 200-code meldt een geslaagde response. Een permanente 301- of 308-redirect verwijst naar een nieuwe bestemming; tijdelijke redirects hebben een andere bedoeling. Een 404 of 410 past bij inhoud die zonder vervanger verdwenen is. Een 5xx wijst op serverproblemen. Stuur niet iedere verwijderde productpagina naar de homepage. Kies een relevante opvolger als die bestaat en voorkom lange redirectketens. Een foutpagina die 200 teruggeeft, kan als soft 404 worden behandeld.

Robots.txt en noindex. Robots.txt regelt welke paden een crawler mag ophalen. Het is geen betrouwbare verwijdermethode voor zoekresultaten: een geblokkeerde URL kan nog via andere signalen bekend zijn. Noindex moet juist kunnen worden gelezen om als indexeringsinstructie te werken. Blokkeer daarom niet gedachteloos hetzelfde document in robots.txt als je wilt dat Google zijn noindex verwerkt. Bescherm vertrouwelijke inhoud met toegangscontrole, niet met alleen een crawlerinstructie.

JavaScript en rendering. Een server kan complete HTML sturen of eerst een beperkte pagina leveren die JavaScript aanvult. Google kan JavaScript verwerken, maar ontoegankelijke scripts, fouten of inhoud achter gebruikershandelingen veroorzaken risico’s. Vergelijk de oorspronkelijke HTML met de gerenderde pagina en controleer tekst, links en metadata. Een scherm dat bij jou goed werkt na inloggen of klikken, is geen bewijs dat de crawler dezelfde hoofdinhoud ontvangt.

Canonical en duplicaten. Een canonical geeft een voorkeur aan voor de representatieve versie van gelijke of sterk overeenkomstige inhoud. Het is een signaal, geen bevel. Stem redirects, interne links en sitemap af op dezelfde voorkeurs-URL. Gebruik geen canonical naar een inhoudelijk andere pagina om een lastig probleem te verbergen. Gewone duplicatie is niet automatisch een straf, maar kan wel verwerking en rapportage versnipperen. Onderzoek de oorzaak, bijvoorbeeld parameters, printerversies of meerdere productroutes.

XML-sitemap. Een sitemap biedt een lijst met URLs die je onder de aandacht wilt brengen. Neem bij voorkeur bereikbare, canonieke pagina’s op die in de index mogen. Verwijder structurele fouten en gebruik lastmod alleen voor betekenisvolle updates. De sitemap vervangt navigatie niet. Op een kleine goed verbonden website kan zij minder verschil maken dan op een omvangrijke catalogus met regelmatig nieuwe pagina’s.

Faceted navigation. Filters op kleur, maat, merk en prijs kunnen samen enorme aantallen URLs veroorzaken. Bepaal vooraf welke combinaties een eigen zoekvraag en voldoende inhoud hebben. Een nuttige categorie “waterdichte werkschoenen” kan een vaste pagina verdienen; iedere sorteervolgorde meestal niet. Voor ongewenste crawlruimte zijn gerichte URL- en crawlkeuzes nodig. Canonicals alleen zijn geen efficiënte noodrem voor oneindige combinaties. Combineer robots.txt, noindex en canonical niet zonder te begrijpen welke instructie nog leesbaar is.

Internationale versies. Geef iedere taal een eigen bereikbare URL. Hreflang koppelt equivalente versies en hoort wederkerig en consistent te zijn. Een Nederlandse pagina heeft normaal een canonical naar haar eigen Nederlandse versie; canonicaliseer goede vertalingen niet allemaal naar één taal. Link via de taalkeuze naar hetzelfde onderwerp. Hreflang vertaalt niets en herstelt geen verkeerd of ontbrekend Engels of Spaans.

Core Web Vitals. LCP gaat over het verschijnen van het grootste zichtbare inhoudselement, INP over de respons op interacties en CLS over onverwachte layoutverschuivingen. Bekijk waar mogelijk ervaringen van echte bezoekers naast een laboratoriumtest. Een zware hero-afbeelding, blokkerende scripts of ontbrekende afbeeldingsafmetingen vragen verschillende oplossingen. Goede meetwaarden ondersteunen bruikbaarheid. Ze maken een onvolledig productoverzicht niet relevant voor iedere zoekvraag.

Structured data. Markering zoals JSON-LD beschrijft zichtbare informatie in een gestructureerde vorm. Kies typen en eigenschappen die bij de pagina passen. Een Article markeert een artikel, geen verzonnen recensie; Product vraagt om echte productgegevens. Controleer de syntaxis én de inhoudelijke juistheid. Niet ieder schema-type heeft een speciaal Google-resultaat en correcte markering garandeert geen verrijkte weergave. Lees hoe Entity SEO identiteit en relaties begrijpelijk maakt, ook zonder schema.