Hola:
Solucionado.
El problema no era que bloquearán las Ip del robot, si no que desde el día 4 mi proveedor de servicios redirige todo el tráfico de mi web a https.
He cambiado la dirección de la plantilla de http a https y el robot la encuentra perfectamente.
Gracias por vuestra ayuda.
Saludos, Carlos.