¿Cómo evitar que analicen mi web mediante Robots.txt?

Club para webmasters Foros General ¿Cómo evitar que analicen mi web mediante Robots.txt?

Viendo 3 entradas - de la 1 a la 3 (de un total de 3)
  • Autor
    Entradas
  • #9922 Karma: 0
    Usuario-Chorri
    Participante
    209

    Creo que es posible bloquear programas como semrush, ahrefs, etc… mediante el archivo robots.txt.

    Yo actualmente lo tengo muy sencillo:

    User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.php
    Sitemap: https://midominio.com/sitemap_index.xml

    ¿Cómo puedo hacerlo más completo / seguro? ¿Puedo bloquear entonces los robots de las herramientas espía?

    Saludos

    #9924 Karma: 0
    David Cuesta
    Superadministrador
    142
    #9925 Karma: 0
    israel
    Participante
    22

    Hola, puedes bloquear los accesos de herramientas espía. La mejor opción es hacerlo mediante el archivo .htaccess
    Eso si, debes conocer los User-Agent de esas herramientas.

    Supongamos que quieres bloquear Ahrefs. El código que deberás añadir al .htaccess es el siguiente:

    
    SetEnvIfNoCase User-Agent *.ahrefsbot.* herramienta_espia
    
    <Limit GET POST HEAD> 
    Order Allow,Deny 
    Allow from all 
    Deny from env=herramienta_espia
    </Limit> 
    
Viendo 3 entradas - de la 1 a la 3 (de un total de 3)
  • Debes estar registrado para responder a este debate.