Zou je kunnen doen door een robots.txt in de hoofdmap van je server te plaatsen:
http://www.thesitewizard.com/archive/robotstxt.shtml
Guido
Thread starter
ditad
(@ditad)
Dank Guido. Ik heb een robots.txt, maar ik weet niet hoe ik deze hierin kan vermelden. Ik heb alleen een hostname en een ip-adres (hetzelfde dat WordPress gebruikt), geen crawlernaam. Als ik het ip-adres block, dan block ik ook WordPress.
Ik begrijp de combinatie van het IP-adres en WordPress niet. Hoe kom je erbij dat dit van WordPress is? Of bedoel je misschien dat dit je eigen IP-adres is?
Ik heb ooit problemen gehad met twengabot en heb dit toen in die robots.txt gezet:
User-agent: TwengaBot-2.0
Disallow: /
Guido
Thread starter
ditad
(@ditad)
Ik bedoel dat wp-cron hetzelfde Private IP Address gebruikt als deze onbekende crawler. De crawler heeft in Wordfence geen user-agent naam, alleen een hostnaam.
Sorry, kan je niet verder helpen want heb geen ervaring met Wordfence.
Als je denkt dat het daar mee te maken heeft, kun je bericht op hun forum plaatsen:
https://wordpress.org/support/plugin/wordfence
Guido
Thread starter
ditad
(@ditad)
nee, dit heeft niet te maken met Wordfence. Dat is de plugin die de activiteit op mijn website registreert en dus ook deze crawler langs ziet komen.
Iemand die weet hoe je een crawler/spider oid die geen user-agent naam heeft en gebruik maakt van een private IP adres kunt blocken?
