Visualizzare il grafo dei link interni di un sito web con Python e GPT

[@mc1974io]

Molto molto interessante

[@AFaustoGiungato]

Ciao Giovanni, ottima risorsa, grazie. Noto che talvolta i siti vengono scansionati tranquillamente, mentre in altre occasioni scansiona zero url; potrebbe essere dovuto al fatto che il server che restituisce zero url ha dei "blocchi di sicurezza" e non fa scansionare il sito? Strano, perché con Screaming Frog riesco a scansionarlo...

[@EvemilanoSEO]

Ciao Fausto, grazie del comme to. Alcuni server bloccano le chiamate se pensano siano bot. La soluzione è lavorare sull'user-agent di requests fingendosi altro, e magari mettere una pausa tra una chiamata e l'altra. A volte il problema è dato da siti in JS, dove il codice HTML è essenzialmente vuoto e requests non esegue JS. Nei casi più complessi si può passare ad un headless browser al posto di requests, ad esempio Selenium (che emula chiamate da Chrome ed esegue JS).

[@AFaustoGiungato]

@@EvemilanoSEO fantastico, grazie mille