Web scraper error

  • Este debate tiene 2 respuestas, 2 mensajes y ha sido actualizado por última vez el hace 1 año por garralva.
Viendo 3 entradas - de la 1 a la 3 (de un total de 3)
  • Autor
    Entradas
  • #23082 Karma: 0
    garralva
    Participante
    1

    No se si alguien mas tiene el mismo problema pero con la extensión de chrome de web scraper ahora solo me deja cargar una 300 urls a través del sitemap cuando antes deja 9999, si alguien sabe el motivo…agradecería aclaración o alternativa para scrapear. El error en cuestion es scrapeando Amzon.es

    #23235 Karma: 0
    israel
    Participante
    21

    Hola, no se que decirte.. acabo de hacer la prueba con un sitemap de más de 1000 URLs y funciona perfectamente.

    Ten en cuenta que la estructura del Sitemap debe ser esta:

    
    {"_id":"ejemplo","startUrl":[
    "https://chorri.club/",
    "https://chorri.club/foros"
    ],"selectors":[]}
    

    (La última URL no lleva una «,»)

    Ya me dices,

    Un saludo

    #23329 Karma: 0
    garralva
    Participante
    1

    Ya encontre la solucion al problema, era que al tener la lista de KW en una de ellas aparecían una comillas y al formar la url https://www.amazon.es/s?k=k+e+y+w+o+r+d daba error de lectura.
    CONCLUSION: revisar las 10.000 kw que se quieren meter para eliminar caracteres extraños.

Viendo 3 entradas - de la 1 a la 3 (de un total de 3)
  • Debes estar registrado para responder a este debate.