- Este debate tiene 13 respuestas, 3 mensajes y ha sido actualizado por última vez el hace 4 años, 5 meses por
.
-
Entradas
-
Hola a todos,
¿qué tal?Estoy intentando crawlear una web pero nunca termina de analizarla. No pasa del 10% y ya lleva más de 11.000 urls analizadas.
¿alguien sabe por qué tarda tanto? Nunca llega a completarse el análisis.
Muchas gracias 😀
Buenas noches y feliz martes!
Tienes la versión gratuita? Si es así prueba a bajarte esta https://chorri.club/foros/tema/licencia-screaming-frog-mar-2022/ 😉No tengo la versión gratuita, tengo una licencia metida pero nunca termina de crawlearme la web.
¿Sabes a que se debe?
¡¡Gracias!! 🙂
Puede haber varios motivos, a veces el servidor tiene algún tipo de sistema de seguridad que detecta el robot y no le deja seguir… si fuera el caso dale a configuración > user-agent y selecciona un google bot
Otras veces hay errores de servidor, de ram, o de robots … es complicado saberloPrueba lo primero del user agent y me dices
Un saludo!
Hola David,
He seguido esos pasos (configuración > user-agent y selecciona un google bot) y no crawlea la web… Es decir, elimine las etiquetas de los productos y veo que carga un poquito mas rápido en SF pero llega a 20% y empieza a bajar el porcentaje.
¿Sabes qué puede ser?
¡¡Mil gracias!! 😀
Hola David,
He llamado al servidor y me han desbloqueado, temas e ram me han dicho que tampoco. He cambiado el user-agent y no me crawlea la web. ¿sabes qué puede ser?
Muchas gracias 😀
Pues la verdad que complicado, te pasa en todas las webs o solo en esa?
¿es muy grande la web?
¿se detiene completamente o sigue pero muy lento?Fíjate en la esquina inferior derecha, el % es como windows, te lo va calculando en función de como va progresando, de ahí que baje si no para de descubrir nuevas urls…
Es que para webs grandes se necesitan horas o incluso servidores más potentes…
Prueba a dejarlo un buen tiempo, una noche entera incluso. Si por lo que fuera el pc diera un error es posible que te genere un archivo temporal que pese tanto como todo tu disco duro, entra a los archivos de screaming frog y bórralo en ese caso (me ha pasado y te pegas un buen susto jajaja)Un saludo!
Hola David,
Lleva desde ayer por la tarde crawleando y lleva menos del 20% y más de 200K analizadas..
¿Es normal que una tienda online genere tantas urls? ¿Estoy haciendo algo mal? La tienda tiene más de 100 productos.¿Cómo podría entrar a los archivos de SF?
Muchas gracias y feliz finde 😀
Hay webs monstruosas que aún siendo pequeñas generan miles de enlaces, puede ser por errores en los enlazados internos, o puede ser que se enlazan tags, categorías, variaciones, atributos… y todo esto genera un enlace de cada vez y una url por cada uno.
Si ya lleva 200k de urls mi consejo es que pares, de nada te servirá tener 2 millones de urls exploradas, con 200k ya tienes una muestra para parar.Los archivos de SF están en archivos de programa, como cualquier otro programa instalado, si no recuerdo mal
Un saludo!
Hola David,
Como tu me dices, tuve que parar de rastrear porque no tenía mucho sentido.. No creo que sea nada bueno de cara al SEO que un ecommerce tenga tantas urls… Eliminé las etiquetas, ¿se te ocurre algo más que pueda hacer para eliminar urls?
Muchas gracias, me estás ayudando un montón 🙂
Revisa que los atributos no sean enlaces que generan una página de archivo. Por ejemplo, hay atributos como «color» o «talla» que tienen una URL que listan todos los productos que cumplen con un color determinado o con una talla, pueden ser miles de enlaces en tiendas
Un saludo!
- Debes estar registrado para responder a este debate.
