Machine learning in python - 8 - Come costruire un motore di sentiment analysis

[@pierobosio1307]

Complimenti Piero, il corso è spiegato in modo chiaro ed efficace. Ottimo anche per me che mi avvicino per hobby

[@PieroSavastano]

Alla grande Piero, sono contento ti sia utile

[@sergiomenegon2285]

Complimenti... Le lezioni sono chiarissime, alla giusta velocità (dai il tempo di capire ma non sei prolisso). Ho un dubbio: perché in questo esempio non hai dovuto vettorizzare i target testuali (pos-neg)? Grazie

[@luigidaddario6311]

Ciao, intanto complimenti! Volevo fare una domanda: ma se avessi la necessità di testare il modello con una frase da tastiera? Cioè scrivendo una frase lui mi dovrebbe dire il target, positivo o negativo

[@PieroSavastano]

Metti la stringa in un'array, lo passi al vectorizer e poi fai predict. La stessa cosa che fai con X_test

[@luigidaddario6311]

@@PieroSavastano Si, poi ragionandoci un attimo l’ho fatto. Grazie mille comunque!

[@daniloantonellorenzo5532]

Ciao Piero ho una domanda. Se creo io un file excel.csv con i dati di features e i target, come fà PC a capire quali sono le colonne che contiene le features e la colonna dei target. Grazie! video top!

[@PieroSavastano]

Lo dici tu via python, creando la variabile X che contiene le featires, y che contiene il target

[@daniloantonellorenzo5532]

@@PieroSavastano scrivendo : X=df['text'] y=df['tag'] ?

[@PieroSavastano]

@@daniloantonellorenzo5532 fatti le playlist su pandas

[@r3ailacaso481]

Ciao, se volessi inserire una stringa recensione e avere come output il tag (negativo o positivo) dovrei aggiungere la mia recensione a X_test e far ripartire il programma?

[@PieroSavastano]

model.predict(X_new)

[@r3ailacaso481]

@@PieroSavastano grazie molte

[@Rik-n3x]

ma i testi 'pos' e 'neg' della colonna target non vanno anch'essi trasformati?

[@PieroSavastano]

Scikit learn nel caso del target, accetta stringhe

[@Rik-n3x]

@@PieroSavastano Ok grazie mille!

[@giuliodigiamberardino3223]

Domanda: se volessi interrogare il modello con una nuova frase scritta a mano? Ho provato a scrivere un nuovo file utilizzando la stessa sintassi e procedura vista per addestrare il modello, ma quando vado ad interrogarlo mi da errore (si aspetta un numero maggiore di vettori)

[@PieroSavastano]

Salvataggio e riutilizzo modello sono nella parte avanzata del corso (work in progress) Cmq devi salvare su disco sia il vettorizzatore che il modello per poterli usare da un altro script. Se hai un nuovo testo innanzitutto va messo in un array (scikit lavora su liste di esempi) , che poi va trasformato col vettorizzatore, e poi va fatto predire dal modello. Se hai bisogno di formazione in privato scrivimi ;)

[@backofloca5326]

@@PieroSavastano Ciao, posso chiederti il link per il video? grazie

[@PieroSavastano]

@@backofloca5326 pollo-watzlawick.teachable.com/ Il corso "mettere il modello su web" è in larga parte dedicato a questo. È in promozione perchè ancora da completare, trovi comunque già la parte con il salvataggio e caricamento modello

[@michaeldipietro7198]

Domanda off topic, che software usi per registrare i video?

[@andreacipriani9088]

OBS studio

[@enricocap7458]

Ciao Piero, non riesco quando apro il link mi da un enorme file di testo, non riesco a metterlo incolonnato come hai fatto tu nel tuo file.csv, potresti incollare magari il file.csv che usi nell'esempio? Grazie

[@PieroSavastano]

Apri il link e salva la pagina come "file.csv" Fammi sapere

[@PieroSavastano]

Se lo apri con excel gli devu dire che il separatore è la virgola invece che punto e virgola... Ma comunque pandas dovrebbe caricarlo senza problemi

[@PieroSavastano]

Puoi anche provare a fare pd.read_csv('.....') Dando direttamente l'indirizzo a pandas

[@enricocap7458]

@@PieroSavastano salvo la pagina html come un file.csv, ma quando vado ad aprire il file generato quest'ultimo non ha le colonne come le hai tu, ma ha ogni riga su un'unica colonna

[@enricocap7458]

@@PieroSavastano per dirgli che il separatore è la virgola invece che il punto e virgola dovrei andare a toccare delle impostazioni di WIndows che preferirei non toccare, almeno questo ho letto in rete

[@PinoMancinelli]

Ciao Piero, lavori anche con sage maker di aws?

[@PieroSavastano]

Non ancora, se posso evito il cloud... ma me ne parlano bene

[@PinoMancinelli]

@@PieroSavastano ok grazie

[@Stefan-vr1ll]

Perche non hai usato l'albero decisionale come nei video prima?

[@PieroSavastano]

Perchè mi preme far vedere come certi meccanismi sono indipendenti dall'algo utilizzato. In un progetto professionale non solo usi diversi algo, ma li compari e in alcuni casi metti in collaborazione

[@Stefan-vr1ll]

@@PieroSavastano capisco, infatti poi provando con l'albero decisionale ho visto come il livello di acuratezza era minore rispetto l'altro modello

[@katecchikk4774]

La sentiment analysis ha dati che possono essere generalizzati alla popolazione?

[@PieroSavastano]

Puoi spiegarti meglio?

[@katecchikk4774]

@@PieroSavastano se I risultati della sentiment possono dirsi rappresentativi della popolazione. Quindi effettuare la generalizzazione di essi come nel caso delle analisi quantitativa e qualitativa

[@PieroSavastano]

@@katecchikk4774 sì se fai la validazione, cioè se testi il modello su dati che non sono stati utilizzati nell'addestramento: kzbin.info/www/bejne/oIWuZ5iLZ7-Hrbs&ab_channel=PieroSavastano

[@katecchikk4774]

@@PieroSavastano grazie mille 😘 sei stato super gentile e oggi esame ♥️♥️