De meeste doorgewinterde bloggers weten zeker wat robots.txt is en waarom je dit bestand nodig hebt. Maar weinig auteurs haasten zich onmiddellijk om een robots.txt-bestand te maken nadat ze een blog op WordPress hebben geïnstalleerd.
Robots.txt is een tekstbestand dat wordt geüpload naar de hoofdmap van uw site en instructies voor crawlers bevat. Het belangrijkste doel van het gebruik ervan is om het indexeren van afzonderlijke pagina's en secties op de site te verbieden. Met robots.txt kunt u echter ook de juiste domeinspiegel opgeven, het pad naar de sitemap voorschrijven en dergelijke.
De meeste moderne zoekmachines hebben goed leren navigeren in het populaire CMS en proberen meestal geen inhoud te indexeren die hier niet voor bedoeld is. Google indexeert bijvoorbeeld het beheerdersgedeelte van uw WordPress-blog niet, zelfs niet als u dit niet rechtstreeks opgeeft in robots.txt. In sommige gevallen kan het gebruik van directe verboden echter nog steeds nuttig zijn. En dan hebben we het vooral over het verbod op duplicate content.
Sommige webmasters gaan zelfs zo ver dat ze het indexeren van categorie- en tagpagina's verbieden, omdat hun inhoud gedeeltelijk de inhoud van de hoofdpagina dupliceert. Maar de meeste zijn beperkt tot het verbieden van trackback- en feedpagina's, die de inhoud van artikelen volledig dupliceren en helemaal niet bedoeld zijn voor zoekmachines. Een dergelijke voorzorgsmaatregel zal niet alleen de resultaten van de site "schoner" maken, maar u ook behoeden voor mogelijke zoekfilters, vooral na de introductie van het nieuwe Google Panda-algoritme.
Hier zijn de aanbevolen richtlijnen voor een robots.txt-bestand (het werkt voor bijna elk WordPress-blog):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / thema's Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Houd er rekening mee dat in robots.txt de administratieve mappen wp-admin en wp-includes volledig gesloten zijn voor indexering. De map wp-content is slechts gedeeltelijk gesloten, omdat deze de map uploads bevat, die alle afbeeldingen van uw blog bevat die moeten worden geïndexeerd.
Het enige dat u hoeft te doen, is de richtlijnen uit de bovenstaande code kopiëren (merk op dat elke richtlijn op een nieuwe regel moet worden geschreven), ze opslaan in een tekstbestand met de naam robots.txt en ze uploaden naar de hoofdmap van uw site.
U kunt altijd controleren of robots.txt correct werkt via de Google Webmaster Tools en Yandex Webmaster-interfaces.
