Lezione 7 Pytorch Essentials: Reti Convoluzionali su Cifar-10 e DepthWise Separable Convolution

Le reti convoluzionali sono un modo più efficiente di apprendere dei pattern dai dati (scopo dell'intelligenza artificiale), con l'obiettivo di rispondere a vari task grazie a queste informazioni. Le reti convoluzionali sono state introdotte da Yann LeCun, uno scienziato francese che lavora a Meta, negli anni novanta, e da allora sono state un po' il punto di riferimento per l'apprendimento in Computer Vision. Di recente, le reti convoluzionali sono state rivisitate molto, mantenendo invariato il funzionamento ma rendendole più efficienti ed efficaci. Oggi vedremo come allenare reti convoluzionali su Cifar-10, un dataset composto da 10 classi diverse di immagini. Per rendere la nostra rete più efficiente, andremo ad implementare delle depthwise separable convolution, e sfrutteremo il meccanismo di squeeze and excitation per estrarre meglio le features lungo i canali.
Iscriviti QUI al canale!
Https://kzbin.info...
Iscriviti a Prime Student qui per supportarci:
www.amazon.it/j...
I nostri Prodotti Consigliati su Amazon:
www.amazon.it/...
Tutti i nostri Link:
linktr.ee/Offi...
Seguici sui nostri social!
Facebook: / miniprojectsofficial
Instagram: / officialprojecto
INFO - SPONSORSHIP - CONTATTI - CONSULENZA:
projectooffici...
#convolutionalneuralnetworks #intelligenzaartificiale #ricercascientifica

[@gabrieleabbadessa2480]

Ciao Daniel Con questa serie su Pytorch stai facendo un lavoro che difficilmente ha eguali su YT Italia. Tutorial chiari anche per chi, come me, non é informatico. Complimenti per il canale, continua così 💪

[@silvanosoligo3403]

Ciao, dopo che avrai inserito l'ottava lezione sul fine tunning, puoi fare un breve esempio sull'allenamento non supervisionato ? 😀

[@giuseppecalvi]

ciao Daniel, update veloce. Ho provato il training sula mia nVIDIA quadro RTX 4000, ottengo Number of parameters: 10827940 (diverso dal tuo, quindi devo aver sbagliato qualcosa nel modello) , ma comunque riesce a finire il ciclo con Epoch 10 | Loss: 0.6606 | Accuracy: 81.70%: 100% Vedro' di controllare cosa correggere nel modello. PS. al minuto 36:56 dici che "i VIT potessero soppiantare le CNN", ho fatto qualche ricerca ma non ho trovato niente. A cosa di riferivi?

[@ProjectoOfficial]

Ciao! Sì se il numero di parametri è diverso molto probabilmente c'è qualche differenza nell'architettura. In ogni caso è comunque un buon accuracy score, inoltre tipicamente in ricerca si allena il modello per più epoche, da 100, a 300 fino a qualche migliaio. Se vuoi provare, il mio consiglio è quello di usare un learning rate scheduler, così da diminuire il learning rate ad ogni epoca, e provare con 100 epoche. I ViT invece sono Vision Transformers, reti molto grandi e pesanti che svolgono task di visione basate sull'attention. Mi sono fermato a far video perché ho notato che c'è poca interazione man mano che aumento la complessità. Peccato perché l'attention è uno strumento piuttosto potente e ci avrei fatto volentieri un video

[@giuseppecalvi]

Ciao Daniel veramente non mi annoio quando spieghi il codice già scritto prima, anzi forse è preferibile perchè così hai davanti il codice già corretto e perfetto, e anzi potresti focalizzarti più su cose come diagrammi a blocchi ecc. , ma è una questione personale 🙂 capisco che altri preferiscono il "live coding" , è più coinvolgente e poi se no ti perdi il copilot anzi non vedo l'ora che tirano fuori un copilot per i diagrammi a blocchi 😅 sono curioso

[@oreste-shiba]

ciao, sto seguendo tutte le tue lezioni su pytorch. Uso pytorch da poco ma sono piuttosto imbranato. Di solito quando voglio fare un operazione come mean, std, sum, concat ecc... su un tensore 3D, 4D o 5D, il 95% delle prime volte sbaglio sempre l'asse o la coppia di asse su cui voglio eseguire l'operazione, il che è frustrante. Quando hai fatto x.mean(dim=(2,3)) sei stato un fulmine, come riesci a visualizzare il risultato dell'operazione? C'è una tecnica di debug?

[@alessandrofaranca1309]

vederti scrivere a mano il codice fa perdere molto meno il filo! preferisco di gran lunga