Tickets de Loteria e Redes Neurais? | Leonardo Ribeiro

Modelos neurais modernos 🧠 estão se tornando cada vez maiores e mais custosos computacionalmente. Assim, é importante buscar soluções para reduzir o tamanho de modelos de Deep Learning 🤖 sem perder desempenho!
A hipótese do ticket de loteria 💰 diz que um sub-conjunto de pesos/parâmetros de uma rede neural, ou uma sub-rede premiada 🏆, pode fornecer uma performance semelhante à rede original completa!
Neste vídeo, explico de uma forma intuitiva a hipótese do ticket de loteria!
🚀 Aprendiz do Futuro é um canal para descomplicar Deep Learning / Aprendizado Profundo. A ideia é provocar o pensamento e aguçar o interesse no conhecimento! 🦾

[@AprendizdoFuturo]

CORREÇÃO: quando eu falo 5% ou 2% dos pesos, diminua uma ordem de grandeza! É 0.5% e 0,2%! Isso mesmo, Impressionante!

[@yuribr84]

Excelente vídeo! Li um artigo uma vez que pegava uma estrutura fixa (quantidade de neurônios e camadas) e testava todas as combinações de desativações de interligação possíveis. O resultado encontrado é que sempre existia uma quantidade de interligações ótima, ou seja, um subconjunto de redes esparsas tinham melhor performance do que a rede densa (fully connected).

[@AprendizdoFuturo]

Olá Yuri! Obrigado pelo seu feedback. Muito interessante seu comentário! No caso do artigo que você leu, me parece que os pesos são removidos aleatoriamente e testa-se diferentes combinações. No caso dos métodos apresentados no vídeo, a remoção é feita levando em conta a magnitude dos pesos já treinados. Diferentes alternativas para diminuir o tamanho da rede neural mantendo uma boa ou melhor performance! Um abraço!! 🚀🚀

[@marcossantiago5181]

Óia irmão daria prá jogar a famosa mega sena será quanto custa uma máquina dessa Ok Aí não precisa estudar no clube das loterias

[@gladsonfirmino3348]

Já tentou lógica geometrica