Robots.txt en sitemap zijn de twee bestanden die uw hele crawl en indexering aansturen. Eén fout in robots.txt kan uw site uit Google halen. Een verouderde sitemap kan crawl-budget verspillen aan pagina's die niet meer bestaan.
Wat hoort wel en niet in robots.txt?
Wel: blokkeren van interne zoek-URL's, gefilterde categorie-pagina's, admin paths, en search-result pages. Niet: pagina's die u uit Google wilt halen (gebruik noindex via meta tag of HTTP header). Niet: kritieke CSS- of JS-bestanden (Googlebot moet uw pagina kunnen renderen).
Wat hoort in uw sitemap?
Alleen canonical URL's die u in Google wilt zien. Geen duplicates, geen 404's, geen no-indexed pagina's, geen redirects. Per URL een realistische lastmod-datum. Voor sites met meer dan 50.000 URL's: meerdere sitemap-bestanden via een sitemap-index.
Hoe valideert u correctheid?
Robots.txt tester in GSC, sitemap submission report in GSC, en steekproefsgewijs URL Inspection op samples. Een SEO consultant zet deze checks in een periodieke monitoring zodat u niet maandenlang met een fout site zit.
Hoe wij u koppelen
Stuur uw situatie in drie zinnen: platform, omvang en het concrete probleem dat u vermoedt. Wij dragen een SEO consultant voor met technische SEO praktijk. Reactie binnen 1 werkdag. Plan via het formulier hieronder.
Verwant: Onafhankelijke SEO consultant, Technische SEO laten doen