Duda-crawlear una web en Screaming Frog

Club para webmasters Foros ChorriClub Herramientas Duda-crawlear una web en Screaming Frog

Viendo 14 entradas - de la 1 a la 14 (de un total de 14)
  • Autor
    Entradas
  • #23189 Karma: 0
    Usuario-Chorri
    Participante
    134

    Hola a todos,
    ¿qué tal?

    Estoy intentando crawlear una web pero nunca termina de analizarla. No pasa del 10% y ya lleva más de 11.000 urls analizadas.

    ¿alguien sabe por qué tarda tanto? Nunca llega a completarse el análisis.

    Muchas gracias 😀

    #23202 Karma: 0
    Manu Soporte
    Moderador
    25

    Buenas noches y feliz martes!
    Tienes la versión gratuita? Si es así prueba a bajarte esta https://chorri.club/foros/tema/licencia-screaming-frog-mar-2022/ 😉

    #23218 Karma: 0
    Usuario-Chorri
    Participante
    134

    No tengo la versión gratuita, tengo una licencia metida pero nunca termina de crawlearme la web.

    ¿Sabes a que se debe?

    ¡¡Gracias!! 🙂

    #23254 Karma: 0
    David Cuesta
    Superadministrador
    179

    Puede haber varios motivos, a veces el servidor tiene algún tipo de sistema de seguridad que detecta el robot y no le deja seguir… si fuera el caso dale a configuración > user-agent y selecciona un google bot
    Otras veces hay errores de servidor, de ram, o de robots … es complicado saberlo

    Prueba lo primero del user agent y me dices

    Un saludo!

    #23266 Karma: 0
    Usuario-Chorri
    Participante
    134

    Hola David,

    He seguido esos pasos (configuración > user-agent y selecciona un google bot) y no crawlea la web… Es decir, elimine las etiquetas de los productos y veo que carga un poquito mas rápido en SF pero llega a 20% y empieza a bajar el porcentaje.

    ¿Sabes qué puede ser?

    ¡¡Mil gracias!! 😀

    #23270 Karma: 0
    Usuario-Chorri
    Participante
    134

    Hola David,

    He llamado al servidor y me han desbloqueado, temas e ram me han dicho que tampoco. He cambiado el user-agent y no me crawlea la web. ¿sabes qué puede ser?

    Muchas gracias 😀

    #23276 Karma: 0
    David Cuesta
    Superadministrador
    179

    Pues la verdad que complicado, te pasa en todas las webs o solo en esa?
    ¿es muy grande la web?
    ¿se detiene completamente o sigue pero muy lento?

    #23279 Karma: 0
    Usuario-Chorri
    Participante
    134

    ¡Sólo en esta!
    Es bastante grande sí. Suele llegar a 20% y después, va retrocediendo en %…

    #23319 Karma: 0
    David Cuesta
    Superadministrador
    179

    Fíjate en la esquina inferior derecha, el % es como windows, te lo va calculando en función de como va progresando, de ahí que baje si no para de descubrir nuevas urls…

    Es que para webs grandes se necesitan horas o incluso servidores más potentes…
    Prueba a dejarlo un buen tiempo, una noche entera incluso. Si por lo que fuera el pc diera un error es posible que te genere un archivo temporal que pese tanto como todo tu disco duro, entra a los archivos de screaming frog y bórralo en ese caso (me ha pasado y te pegas un buen susto jajaja)

    Un saludo!

    #23400 Karma: 0
    Usuario-Chorri
    Participante
    134

    Hola David,

    Lleva desde ayer por la tarde crawleando y lleva menos del 20% y más de 200K analizadas..
    ¿Es normal que una tienda online genere tantas urls? ¿Estoy haciendo algo mal? La tienda tiene más de 100 productos.

    ¿Cómo podría entrar a los archivos de SF?

    Muchas gracias y feliz finde 😀

    #23403 Karma: 0
    David Cuesta
    Superadministrador
    179

    Hay webs monstruosas que aún siendo pequeñas generan miles de enlaces, puede ser por errores en los enlazados internos, o puede ser que se enlazan tags, categorías, variaciones, atributos… y todo esto genera un enlace de cada vez y una url por cada uno.
    Si ya lleva 200k de urls mi consejo es que pares, de nada te servirá tener 2 millones de urls exploradas, con 200k ya tienes una muestra para parar.

    Los archivos de SF están en archivos de programa, como cualquier otro programa instalado, si no recuerdo mal

    Un saludo!

    #23671 Karma: 0
    Usuario-Chorri
    Participante
    134

    Hola David,

    Como tu me dices, tuve que parar de rastrear porque no tenía mucho sentido.. No creo que sea nada bueno de cara al SEO que un ecommerce tenga tantas urls… Eliminé las etiquetas, ¿se te ocurre algo más que pueda hacer para eliminar urls?

    Muchas gracias, me estás ayudando un montón 🙂

    #23758 Karma: 0
    David Cuesta
    Superadministrador
    179

    Revisa que los atributos no sean enlaces que generan una página de archivo. Por ejemplo, hay atributos como «color» o «talla» que tienen una URL que listan todos los productos que cumplen con un color determinado o con una talla, pueden ser miles de enlaces en tiendas

    Un saludo!

    #23990 Karma: 0
    Usuario-Chorri
    Participante
    134

    Hola David,

    Genial,

    Muchas gracias.

Viendo 14 entradas - de la 1 a la 14 (de un total de 14)
  • Debes estar registrado para responder a este debate.