A matemática do Gradiente Descendente & Regressão Linear (machine learning)

Nesse vídeo vamos dissecar o "Gradient Descent" passo a passo, para que você consiga compreender como funciona e para que serve. Curso completo: didatica.tech/curso-de-machin...
O exemplo mostrado será com o modelo de regressão linear, porém o mesmo conceito se aplica a outros algoritmos de machine learning. Essa aula está organizada da seguinte forma:
0:10 A importância do gradiente descendente
0:35 Objetivo dessa aula
1:58 Explicação conceitual do gradiente descendente (sem matemática)
12:05 Início da explicação matemática do gradiente descendente
12:44 Como medir o ajuste da reta aos dados (distância dos dados)
15:18 O que é função de custo (cost function) e como calcular
17:55 A minimização da função de custo
18:52 Atualizando os valores dos pesos e dos viéses (weight, bias) em cada iteração
21:20 A taxa de variação da função de custo
22:40 Derivada parcial da função de custo em relação ao coeficiente angular
27:50 Derivada parcial da função de custo em relação ao coeficiente linear
29:22 Calculando a derivada da função de custo em relação ao coeficiente angular da reta
29:40 Relembrando a regra da cadeia (cálculo)
35:39 Calculando a derivada da função de custo em relação ao coeficiente linear da reta
39:34 Como novas retas são construídas a partir de novos valores dos parâmetros
44:01 O que é a taxa de aprendizagem (learning rate) e sua importância na equação
47:22 Algoritmo em Python que calcula o gradiente descendente
48:40 Próximos objetivos
50:02 O que significa o nome "gradiente descendente"
O gradiente descendente é uma das técnicas mais importantes do machine learning, pois permite que o algoritmo aprenda a cada nova iteração qual direção seguir para minimizar a função de custo.
Uma função de custo captura a diferença entre o resultado encontrado pelo modelo e o resultado esperado (valor de teste). Quanto maior essa função, mais distante o modelo está de fazer previsões corretas.
Todo o conceito de gradient descent se baseia em derivadas parciais, onde os valores dos coeficientes da função a ser otimizada são atualizados a cada nova iteração, pelo valor que depende da magnitude da derivada parcial da função de custo em relação a cada coeficiente.
Essa atualização dos pesos e vieses (weight, bias) é feita com base em uma constante chamada learning rate, que significa "taxa de aprendizagem".
Apesar de parecer complexa em uma primeira abordagem, a técnica do gradiente descendente é concisa e muito elegante para resolver problemas de alta magnitude, permitindo a descoberta mais conveniente de parâmetros em algoritmos de machine learning, não apenas em regressão linear, mas também em redes neurais, como vemos nesse artigo: bit.ly/redeNeural
#redesNeurais #machinelearning #gradienteDescendente

[@vitorhugo0072]

Esse é o único curso que eu pagaria se tivesse grana. Verdadeiramente ensina. Fundamentos matemáticos e prática! Parabéns cara, continue ensinando dessa forma. Acabou de ganhar um inscrito

[@nettoork5216]

Cara, o canal de vocês é muito bom! O meu sonho era achar um canal assim, onde há links de vídeos explicando todos os conceitos da aula, e os vídeos linkados também linkando outros vídeos para entender eles, como se fosse uma árvore de conhecimento. Parabéns!

[@jhonatandarochaleao6225]

Pura vrdd são ótimos

[@MrMacriny]

Equação da reta Símbolo somatório Cálculo (AULA 1): Limite Cálculo (AULA 2): Derivada Cálculo (AULA 3): Derivadas Parciais Cálculo (AULA 4): Máximos e Mínimos de funções, com exemplos Precisei ver 6 videos pra chegar nesse, valeu muito. Didática muito boa, excelente.

[@TheGamesLs]

Valeu pela lista

[@GameDevComplete]

Quando o cara realmente domina o assunto é outra coisa viu.... que didática magnífica, não haveria forma de resumir melhor, ainda mais para quem não é da área. Parabéns

[@phideas8925]

Magnífico! Melhor aula de matemática que eu assisti na minha vida, e olha que eu já dediquei muitas horas para assistir vídeo aulas de exatas.

[@SylviodeCamposOK]

Cara! De longe, foi a melhor aula / explicação que encontrei no KZbin! Parabéns!!!

[@evertonsp09]

Tive diversas aulas sobre assunto, inclusive na fgv. E esse vídeo foi a única maneira que compreendi. Sua didática e muito boa. Parabéns.

[@hugodasilvadasilva]

Concordo

[@camus6525]

Cara, quase ninguém tem curso voltado pro Pytorch. Considere ser um pioneiro aqui no Brasil.

[@AndreSouza-rf2el]

Agora estou começando a entender a base de como é machine learning, não é muito fácil, mas com suas aulas de matemática tudo esta ficando mais claro, obrigado.

[@igorbrenno1459]

O melhor do you tube

[@andreluispereira7507]

É de levantar e aplaudir de pé uma aula dessa!

[@paulodedalo218]

Excelente!! A lógica de todos os conteúdos desta série foram estruturadas, facilitando o entendimento. Sem enrolação, no "time" certo. Parabéns!!

[@carolenebertoldi279]

Uma aula objetiva e precisa. Entendi conceitos, que já tinha visto em outros lugares e não tinha entendido direito, de forma muito clara. Parabéns!!!

[@pmtxei]

Magnífica aula!!!!!!!

[@gtbronks]

Excelente vídeo! Parabéns!

[@endriobarros164]

Muito bom amigo!!!!!! Obrigado

[@kennethdeoliveira]

Parabéns, bastante esclarecedor!

[@fabiosousaaguiar]

Parabéns, me ajudou bastante, continue pf!

[@everton4135]

Suas aulas são ótimas!

[@kellycarolina5679]

Gratidão por todas as aulas, são maravilhosas e com uma didática simples e explicativa.

[@felipebressane3733]

Excelente aula, parabéns!!!

[@jmarcio51]

Parabéns professor, muito boa sua didática.

[@gonzagadosdados]

Aula top demais!!!

[@paulomathias974]

Ótimo vídeo, parabéns pela didática!

[@canaldesajustado]

Sensacional, muito obrigado por compartilhar o seu conhecimento.

[@joaomelques2544]

Parabéns demais pelas aulas!! Você tem uma didática absurda, MUITO obrigado.

[@alaidefarias761]

Excelente aula! Você conseguiu deixar o assunto bem elucidado.

[@analuciademoraislimalucial6039]

Obrigada professor por transmitir esse conhecimento de maneira tão linda e simples!!!!!

[@edmilsonsgjk]

Parabéns pela aula!! Muito bom o canal, ótima explicação sem slides chatos.

[@jardelfialho9557]

Canal excelente, ótima didática!!! Parabéns e muito o brigado!!!!

[@andredeoliveira3684]

Cara, essa foi uma das melhores aulas que já assisti. Parabéns, continua nessa pegada porque precisamos de mais conteúdos relevantes

[@Bostathelink]

Esplêndido!!! Melhor vídeo aula sobre o tema sem dúvidas!

[@henriquee91]

Cara, esse video é muito bom, a forma que tu explica realmente faz a diferença. Já vi muitos videos, mas o teu realmente fez a diferença. Obrigado!

[@AndreLuiz-dz1qk]

muito boa a aula, obrigado

[@nicolycosta5191]

aaaaahh me salvou, melhor explicação.

[@evertoncicerolongobresqui1386]

Parabéns aula muito boa, obrigado por compartilhar este conhecimento de forma gratuita.

[@ericandersonferreiradossan3925]

Que curso massa, muito obrigado!

[@danielmarques571]

Excelente explicação! Sou enfermeiro e estou no começo de meus estudos em Machine Learning e Inteligência artificial. Achei sua aula muito didática, de modo que estou conseguindo compreender muito melhor os assuntos. Muito obrigado!

[@eduardoflavio3227]

Muito bom!

[@filipekaizer9760]

Muito bom, nunca tinha visto esse uso para a matemática.

[@gefett]

Um dos melhores canais. Aqui dou like antes de começar o vídeo porque já sei que vem coisa boa. 3m 15 aulas tirei duvidas de Matemática que tinha a anos.

[@giselapetroni7027]

Aula muito boa ... realmente didática é tudo ... vocês são o meu material de apoio. Muito obrigada

[@flesker7693]

A melhor didática! Que canal perfeito!

[@gabrielmarques4228]

Cara, meus sinceros parabéns. Que aula sensacional! Conseguiu atender muito bem o que se propôs e até superou as expectativas! Ainda não havia assistido nenhuma aula tão boa sobre o assunto.

[@cinthiaandrade9124]

APENAS OBRIGADA!

[@OceanAlves23]

Thanks a lot for explanation, congratulations Big Buddy!

[@MarcosSantos-tq2ni]

Cara muito obrigado por investir seu tempo em NÓS.. grande abraço.

[@wilianc.b.3065]

Muito obrigado ! Após assistir os vídeos, consegui implementar o gradiente descendente e a regressão linear !

[@jhonatandarochaleao6225]

Ótimo canal bem explicado e bem lincado

[@az.rafaelnascimento]

Parabéns pela aula! conteúdo bem explicado. Geralmente os conteúdos no KZbin que tentam explicar algo são superficiais. Mas essa sim é uma aula bem fundamentada e bem explicada.

[@rafaelpires9595]

Parabéns, vc muito didático. Faz jus ao nome do canal. Em todos os vídeos que assisti encontrei a mesma qualidade na explicação. Obrigado pelo conteúdo.

[@saposempe]

Que aula incrível, deveria ter muito mais views. Já tive aula na graduação e pós sobre o tema mas nunca nesse nível. Parabéns!

[@christian.m6656]

Ola, muito obrigado pela explicação! tenho muito interesse nesse assunto e gostei muito da sua didática, Valeu amigo.

[@chellytyler26]

Nossaaaaaaaaaaaaaaaaaaaaaa como sempre em todos os videos que vc apresenta fiquei de boca aberta. kkkkkkkkkk Ajudou muito no meu curso de pós graduação. Gratidão.

[@marbellmartinho9637]

você é o lider !!! muito obrigado por este video

[@rdg8268]

Caraca é o mesmo cara dó descomplicando a música, assim como eu temos duas paixões: música e tecnologia. Parabéns pela iniciativa e pela didática, quando vi que era você já sabia que a exploração ia ser top!

[@Prakistamos]

Parabens, você é um verdadeiro didacta. Aprender assim ate parace fantasia

[@brunadias4950]

MEU DEUS! TÚ MERECE UM PRÊMIO

[@joaoaraujo7030]

Parabéns pela sua didática.. trabalho com regressão desde 1981 e sou engenheiro

[@UendelRocha]

Curso excelente! Continue se aperfeiçoando. Muito obrigado por compartilhar seu conhecimento. Sugestão de marcadores: Board Master recarregáveis da Pilot.

[@rod1rocks2]

Aula muito bem explicada. Parabéns! E ganhou mais um seguidor! Obrigado por compartilhar conhecimento e explicar de forma didática! 👏👏👏

[@nataliaresende2741]

Ameiiii

[@raphaelbonillo2192]

Regressão linear é fácil de entender. Confesso, porém, que essa função de custo colocou bons obstáculos no caminho. Ótimo vídeo!

[@regisalves4012]

Eu sei que vcs vão dar risada do que vou comentar, mas enquanto ele explicava eu ia visualizando mentalmente lembrando do jogo Minecraft. Pra quem nunca jogou uma breve explicação: no jogo existem coordenadas X, Y e Z que representam seu posicionamento no mapa, as vezes para procurar algo vc precisa encontrar a exata posição daquele local colocando os valores exatos de X, Y e Z. Estou chocado que inconscientemente eu usava Gradiente Descendente no Minecraft e não sabia!

[@joseclaudiofreitas]

Em primeiro lugar gostaria de agradecer pela boa vontade em compartilhar conhecimentos. Em segundo elogiar o professor que conseguiu passar o conteúdo muito bem. Finalmente registrar um pequeno equívoco no vídeo que não prejudica o entendimento: aos 40 minutos e 13 segundos o professor usa a derivada do custo em relação a b em vês da derivada do custo em relação a m. Mais uma vez muito obrigado e parabéns.

[@joseclaudiofreitas]

A mesma coisa aos 40:19

[@browniemagico5811]

cara...vc é maravilhos!!! É para louvar de pé! eu ouvi um amém??

[@joao5858]

Muito obrigado professor, não compreendi 100% dos calculos mas a logica principal compreendi 100%, a descida do gradiente não é nada mais que a tentativa de se aproximar do valor esperado a partir de derivadas. Obrigado

[@MichelLedig]

Exatamente, também não acompanhei 100% a parte matemática (e nem era meu objetivo) mas assistir o processo que ele usou pra montar as fórmulas esclareceu demais o que acontece por trás dos scripts de regressao linear

[@MatheusOrnelas777]

Muito bom brow, fico extremamente agradecido, sucesso o/

[@andressaagmm]

As melhores aulas são as suas, muito obrigada! Você tem uma excelente Didática, muito objetivo e simplifica muito os conceitos. Me ajudou muito nos meus estudos.

[@renatocardoso8456]

Aula excelente em conteúdo e didática. Realmente muito boa Mas sugiro refazê-la, devido à forma. Uma aula tão boa não merece sofrer por falta de tinta 😉

[@casadodevjunior1939]

MUITO BOM MEU CHAPA

[@victorramospereira2474]

AGORA EU ENTENDI. EU ESTAVA CEGO, MAS AGORA EU VEJO

[@DaflonFernando]

Muito obrigado. Finalmente a ficha caiu.

[@uelitonviana3747]

Super aula! Obrigado 😉 Agora é fazer muito exercícios pra fixar melhor kkkk

[@rafagodofwar]

ficou bom buscando exatamentoi isso, ciencia de dados, marchine learning

[@dyegofonseca4275]

Olá, a explicação ficou bem bacana! Parabéns! No código: Os valores da derivadam*L e derivadab*L estão somando ao m e ao b. Eles deveriam estar subtraindo para convergir :)

[@irineuvitorino]

show.

[@seufagner]

Melhor explicação que já ouv sobre GD, sem fugir da matemática. Obrigado!

[@rodrigosantos8340]

O que é GD?

[@andreyc.p.4549]

@@rodrigosantos8340 Gradiente Descendente, ué

[@arezazozimo6539]

ANJO ♥

[@vitorromano4555]

Você poderia explicar o MMQ também? Usando matrizes (álgebra linear)?

[@lvvieira]

top

[@lemuelemos1]

Cara, faz uma aula de filtro de kalman!

Entendi tudo. Mas, também, com essa didática tem como não entender?

[@gabrielbao3563]

Complemento: Vale lembrar que o Gradiente descendente é recomendado nos casos onde temos muitas dimensões, ou seja, muitas variáveis, no exemplo do vídeo é como se tivéssemos muitas variáveis x_i diferentes e um m_i diferente para cada x_i diferente, ele é muito usado neste contexto por causa que se usarmos o método dos mínimos quadrados para estimar os valores do b, e no caso dos m_i diferentes, igual é utilizado em regressão linear múltipla, acabamos tendo problemas nos casos de muitas dimensões, porque computacionalmente acaba sendo mais custoso e consumindo mais tempo, do que se utilizarmos o gradiente descendente.

[@venicioassuncao7622]

Parabéns pela excelente explicação, melhor vídeo sobre GD. Estou iniciando em ML e gostaria de pedir um favor: Teria como compartilhar o código e os números que você mostrou no gráfico? Gostaria de aplicar pra consolidar o conhecimento. Obrigado!

[@adrielcabral6634]

Em relação ao gráfico do erro em função do "m" e "b", vamos pegar como exemplo o "m", no gradiente estocástico é correto afirmar que terá 1 gráfico para cada amostra, tendo em vista que estamos pegando de uma em uma amostra para atualizar o meu "m" e no batch gradiente o gráfico será em relação a todas as amostras, já que ele calcula o erro de todos e depois atualiza o "m". Desculpa se a pergunta ficou um pouco confusa.

Na realidade o gradiente estocástico não pega somente uma amostra, mas um lote de amostras (batch size) para fazer cada atualização. O gradiente descendente não-estocástico pega todas as amostras para fazer cada atualização.

[@adrielcabral6634]

@ Obrigado pela resposta :)

[@adenilsonandrade1140]

Olha lá, é o cara do Descomplicando a música

[@kaizaconstroi8033]

nem acredito que consegui entender obrigado

[@bode_fuceta]

*Assim como uma função leva a outra, esse video meu levou a outros 5 videos do msm canal*

[@TheGamesLs]

Kkkkkkk, me levou também

[@holandonhdunto6808]

O objetivo principal e somente reduzir o custo, mesmo quando acontece aquele erro que o numero fica gigante, tem que tocar os pesos pra recomeçar ou tem um erro no calculo?

[@fabiom.6449]

Obrigado, já tinha estudado tudo isso na facul e em uns 3 cursos diferentes mas essa é a primeira vez que consegui entender. Só fiquei com uma dúvida, como definir as constantes alfa e beta?

Os parâmetros (como o learning rate) vão depender muito do problema em questão, geralmente se procura por tentativa e erro mesmo

[@alessandromedeiros1424]

O que você me indica como material (livros) para estudar função sigmoide e regressão logística? Parabéns

[@user-kz7ym2lr1r]

🤯🤯

[@laurasimoes3115]

Adorei! Tenho uma duvida: o valor do m e do b tem que ser igual aos coeficientes calculados por Minimos Quadrados Ordinarios?

Isso, a função de custo (que é a responsável pela otimização do problema) utiliza na maior parte das vezes mínimos quadrados ordinários (como nesse exemplo dessa aula). Mas em alguns algoritmos de machine learning é possível otimizar funções de outras formas, com ligeiras adaptações do OLS. No módulo 1 do nosso curso de machine learning, por exemplo, eu mostro o conceito de regularização, onde a função de custo usa OLS com alguns parâmetros extras

[@eek778]

Eu gosto de pensar que b, representa o y quando x é igual a zero, ou seja, o ponto inicial da reta

[@benzavaleta92]

Na função custo, se é elevado ao quadrado para não ter valores negativos, o erro tambem deveria ser ao quadrado ficando : custo^2 = (reg -y)^2 ??

[@rodrigosantos8340]

O ideal deveria ter um módulo, já que ele estava somando os erros

[@fernandocoelhosaraivanando4522]

muito bom!! eu só queria tirar uma dúvida, não sei se vou conseguir me expressar bem, mas é o seguinte: porque é necessário tirar a derivada da função de custo para corrigir o valor de 'm', eu não poderia só fazer a divisão do custo por 'm' e multiplicar pela constante, então corrigir 'm'...?

A derivada da função de custo em relação a m revela a taxa de variação da função em relação a m (isso é útil para atualizar m). Dividir a função de custo por m revela quantas vezes o custo cabe em m (isso não tem muito significado prático para atualizar m).

[@brunopastorello6038]

Ótimo video Parabéns e obrigado por compartilhar o conhecimento! Uma duvida com relação ao seu print (codigo python) e ao que foi mostrado na lousa durante aula: No print, m=m + L(d(custo)/dm) e na lousa m=m - L(d(custo)/dm). Tentei reproduzir o algoritmo, usando a formula do print (com "+") e os valores de m e b divergiram. Ai substitui o sinal da formula por "-" , ai sim m e b convergiram. Qual o porquê disso? Depende dos valores do chute inicial convergir ou divergir ou realmente a formula deve ser com "-"?

É com "- " mesmo, mas tem outras questões que fazem convergir ou divergir, como clipping, coisa que não cheguei a abordar nesse vídeo. Desculpe a confusão, abraços

[@marcioalexandre7610]

O conceito ficou bem claro, mas faltaram exemplos numéricos para mostrar como realmente acontece.

Olá, tudo bem ? Parabéns pelo canal. Só uma duvida, para os coeficientes m e b, será que não seria interessante que no chute inicial fosse usado os resultados das estimativas feitas pelos MMQ ? Então para basicamente calcularia os valores de m e b pelo MMQ e usaria eles como primeira aproximação, creio que o algoritmo iria convergir mais rápido para os valores de m e b " ótimos ".

Nesse caso simples poderia ser utilizado sim, mas quando o gradiente descendente é utilizado em problemas mais complexos como redes neurais, não há como fugir de uma inicialização randômica..

@ Entendi... uma outra coisa que pensei para uma inicialização mais perto da ótima, seria selecionar dois pontos da base de dados aleatoriamente, no inicio da curva e no final, traçando uma reta entre eles, então como chute inicial usaria os coeficientes da reta que os liga.