Como IDENTIFICAR OUTLIERS de um jeito BEM MAIS RÁPIDO

Рет қаралды 3,174

Күн бұрын

Nesse vídeo de hoje eu vou trazer pra você um conteúdo bem bacana sobre outliers. Eu vou te mostrar aqui passo a passo e na prática uma forma muito rápida da gente identificar esses outliers.
Sabemos que os outliers são registros discrepantes que podem estar muito abaixo ou muito acima dos dados em geral que temos em nosso conjunto de dados e quando estamos criando modelos preditivos de machine learning precisamos analisar e tratar esses outliers, ou seja, esses valores discrepantes.
A gente vai utilizar o pacote Pandas do Python, o pacote Numpy do Python, o pacote Matplotlib do Python e o pacote Seaborn do Python pra gente exibir alguns gráficos para realizarmos nossas analises da forma tradicional e a gente vai utilizar um conjunto de dados pequeno que possui outliers que pra este nosso objetivo é um ótimo DataFrame.
Utilizando os métodos tradicionais como Boxplot e Scaterplots conseguimos identificar os outliers, mas se precisarmos listar esses registros temos que fazer mais alguns passos para gerar um novo DataFrame e uma lista com os outliers.
E por isso que vou mostrar pra vocês uma forma mais prática e muito mais rápida de identificarmos e listarmos esses outliers, utilizando a biblioteca PYOD do Python que possui uma série de algoritmos para identificar, analisar e tratar outliers. No nosso exemplo iremos utilizar o algoritmo KNN para calcular os outliers e também gerarmos um DataFrame somente com os outlieres, dessa forma vai facilitar e agilizar muito nosso trabalho, pois a biblioteca PYOD possui muitas ferramentas para agilizar nosso trabalho.
Compartilhe este vídeo: • Como IDENTIFICAR OUTLI...
Vídeos que também possam te ajudar:
Como fazer um modelo de Machine Learning PERFEITO em 7 ETAPAS
• Como fazer um modelo d...
Como fazer GRÁFICOS com Python - Passo a Passo
• Como fazer GRÁFICOS co...
Como AGILIZAR sua Analise de Dados com Python
• Como AGILIZAR sua Anal...
Como fazer Análise de Dados com Python para um E-COMMERCE
• Como fazer Análise de ...
Como INTEGRAR Python com SQL - Na PRÁTICA Passo a Passo
• Como INTEGRAR Python c...
COMO FAZER PREVISÃO DE VENDAS COM MACHINE LEARNING
• COMO FAZER PREVISÃO DE...
Os links abaixo são de afiliados, comprando através desses links eu ganho uma pequena comissão do site. É uma forma de você me ajudar a continuar produzindo esses excelentes conteúdos.
👍 Equipamentos que utilizo no meu dia a dia
🖥️ Monitor Dell: amzn.to/3Sj5Dvb
💻 Notebook Dell: amzn.to/3Qw2uGQ
🖱️ Mouse Microsoft: amzn.to/3Q6Xwio
🔌 Filtro de linha: amzn.to/3QuLmQP
🔋 Smart Plug Wi-Fi: amzn.to/3FxlZse
⚙️ Novo Echo Dot 5ª geração: amzn.to/473eSDL
📚 Livros que me ajudam a aprimorar meus conhecimentos
📚 Python para Data Science: e Machine Learning descomplicado: amzn.to/40agbys
📚 Microsoft SQL Server 2016 express edition interativo: amzn.to/3MhjfTM
📚 Inteligência Artificial - Uma Abordagem de Aprendizado de Máquina: amzn.to/3MgRiLT
📚 Business Intelligence e Análise de Dados para Gestão do Negócio: amzn.to/3Mf9bdO
📚 Estatística prática para cientistas de dados: 50 conceitos essenciais: amzn.to/3rWup9H
Link para download do arquivo do Jupyter Notebook utilizado neste vídeo:
docs.google.co...
#outliers
#python
#cienciadedados

Пікірлер: 18

@andersonbassi1864 Жыл бұрын

Show! Estava sofrendo para identificar outliers em mais de 100 variávies.

@jorgedienes 2 жыл бұрын

Salve Jefinho! Parabéns pelo excelente canal! Conteúdo de verdade. Cara qdo te conheci na Yamaha vc era magricelo. Agora... KKKKK . Comecei fazer um curso na área e quero mudar de profissão. Achei o seu canal na pesquisa. Continue firme com esse canal pois ele com certeza vai bombar. Deus abençoe e muito sucesso!

@nerddosdados 2 жыл бұрын

Grande Jorge tudo bem contigo ? Que prazer te rever novamente. Agora não to mais magricelo não né rs kkk to bem gordinho rs. Eu fiz vários cursos e especialização nessa área de dados é uma área muito legal. Montei esse canal tem pouco tempo e to pegando firme aqui pra fazer uns conteúdos legais. Que bom que gostou. Se você quiser me passa seu e-mail que te mando meu zap e a gente vai mantendo contato. Grande abraço

@cesaranesio7873 2 жыл бұрын

Jorginho.... Esse "docinho" justificou o apelido... Ficou gordinho...rss.. Caro Jeferson, parabéns pelo conteúdo e tenha certeza de que sua iniciativa de ajudar ao próximo, será recompensado com muitas bençãos. Forte abraço!!

@nerddosdados 2 жыл бұрын

@@cesaranesio7873 Oi César, tudo blz ? Muito obrigado.... kkk gordissimo rs rs rs Abração

@92jfc 9 ай бұрын

Obrigado por compartilhar!

@iinvest_mais Жыл бұрын

Conteúdo sensacional. Adoro seus vídeos.

@andersonbarros3239 Жыл бұрын

Olá Tudo bem. Seus conteúdos são fantásticos, parabéns !!! Fiquei com uma dúvida também, a mesma postada antes porém sem resposta. quando geramos a tabela com os outliers, não temos como saber na linha qual a variável que está com um dado outlier. logo, teremos que analisar 1 a 1? ou existe uma modo mais prático de identificar na linha qual é o outlier?

@nerddosdados Жыл бұрын

Tem 3 vídeos aqui que podem explicar e ajudar você nessa situação, vou deixar os links abaixo kzbin.info/www/bejne/fGm9oqujaNZsY7M kzbin.info/www/bejne/aoHFYZafjLx7grM kzbin.info/www/bejne/hXm7fmqnnq5krdk

@pauloavelar252 Жыл бұрын

Olá Jefferson, tudo bem? Parabéns pelo Canal, muito bom e de fácil entendimento. Poderia me tirar uma dúvida? Olhando a figura com todos os boxplot na variável MALICACID os outliers estariam acima de 5.2 + ou -. E olhando a ultima tabela quando se usa o método KNN nesta mesma variável não tem valor acima de 5.2, não deveria aparecer esses valores? Obrigado e abraço

@nerddosdados Жыл бұрын

Ola Paulo, obrigado pelo feedback Em relação ao outlier essa diferença aparece porque o Knn usa uma métrica diferente com base em distância euclidiana, mas o resultado final é o mesmo.

@pauloavelar252 Жыл бұрын

Mas em uma linha com várias variáveis qual é a do outliers? Apago toda a linha? Obrigado