Como BAIXAR e SALVAR arquivos no Google Colab + Baixando conjuntos de dados de forma automática

[@kyox4974]

serio...precisamos de mais pessoas como vc ! explica simples e sem enrolação me ajudou muito!! pois uso muito o colab. obg

[@pgdinamica]

Valeu! 😊

[@christcelestine]

Excelente dica, Kizzy! No aguardo do outro vídeo!

[@abayomirametj]

Caramba, vai facilitar muito minha vida, não sabia que isso era possível. Vou ministrar um curso de mineração de texto no colab e disponibilizar os dados assim vai ajudar a deixar tudo certinho pros alunos.

[@pgdinamica]

Maneiro!

[@claudiatedeschi6766]

Ganhastes uma fã!!!!! Você e simplesmente o máaaaximo!!!!!Gratidão Total!!!

[@pgdinamica]

Obrigada! Seja bem-vinda :)

[@miqueiasnascimento4707]

Parabéns pela sua didática, me ajudou muito, usei para gerar uma planilha no python com um algoritmo que criei e salvar no drive.

[@pgdinamica]

Que legal! 🙌🏾

[@Spanceroo1]

Kizzy, você arrebenta demais! Sua didática é mto boa. Pode fazer esse tutorial dos arquivos sem link sim, vai ser top!!

[@pgdinamica]

Valeu Lucas!

[@fatalframe3049]

Excelente canal, grava sim!

[@pgdinamica]

Obrigada pelo apoio!

[@EduardoAngeli]

Dois, quero ver esse trem ai.

[@TheVankano]

Muito bom o conteúdo, ansioso que tenha a segunda parte. Desenvolvi uma automação para o segundo problema utilizando Selenium mas fiz muitas gambiarras por falta de conhecimento kkkk

[@pgdinamica]

Boa! Vai ter ☺️

[@jadsoj]

Por favor, transformar isso em uma série de vídeos! Vai ajudar muita gente!

[@pgdinamica]

Valeu Jadson, boa ideia! Qual seria um bom nome para essa série? :)

[@rodrigoviannini7238]

Kizzy vc é excelente!!!

[@pgdinamica]

Obrigada!

[@ruvian_oficial]

O melhor video de todos, muito obrigado!!!

[@pgdinamica]

Disponha!

[@albertoemanuelmendes6704]

Com certeza deve ter a parte dois. Preparando o novos Cientistas de Dados para qualquer tipo de situação 👏👏👏

[@pgdinamica]

Com toda certeza 😊

[@isabellapiomrdeirosfrancis5038]

Kizzy eu estava com problema no meu colab que ele simplesmente não queria criar um link simbólico entre a a minha pasta no drive e a pasta salvando os dados gerada pelo algoritmo, ai eu tinha visto seu vídeo uns três dias atrás e eu resolvi excluir a pasta e criar de novo do jeito que você recomendou e ai o link simbólico foi criado sem problema. MUITO ORIGADA sério me salvou.

[@pgdinamica]

👏🏾👏🏾👏🏾 show Isabella!

[@saudenetwork]

Parabéns Kizzy pelo seu excelente trabalho.

[@pgdinamica]

Muito obrigada 😁

[@hananibittencourt3234]

Excelente vídeo, continue.

[@pgdinamica]

Obrigado 😃

[@legamer7]

Muito útil. Obg.

[@pgdinamica]

Valeu!

[@catraca21b]

Muito legal a dica. Obrigado. Gostaria de ver um vídeo com essa outra solução de baixar um arquivo que não tem link usando a outra ferramenta de automação.

[@beatrizmaia8310]

Dica poderosa demais, Kizzy!!! Muito obrigada 💜

[@pgdinamica]

😉

[@aquaparalelodigital]

Muito bom vídeo,este seu, parabéns.🇺🇲🇧🇷🌲🙏💜💜🖤

[@pgdinamica]

😉

[@telemontdias]

Poderia me ajudar? Meu colab de uma conta google não está conectando, fica sempre a mensagem conectando, mas não conecta. O da outra conta google conecta rapidinho.

[@Mundo_Dos_Gamers1]

O Google colab não está achando o meu arquivo ZIP, oq tenho que fazer?

[@GuilhermeHenrique-ss8yw]

Conteúdo sempre perfeito!! Sou fã de carteirinha desse canal. Kizzy, você poderia ensinar como coletar os dados de rastreio de pedidos pelo correios? Eu to quebrando minha cabeça pra fazer isso mas não to conseguindo realizar a tarefa com sucesso...

[@FernandoSantos-ky6yo]

bom dia, ótimo conteúdo. Só uma duvida, é possível acessar uma base de dados (MySQL) local, utilizando o Google Colab?

[@Pedro_Nora]

Muito prático!!! 👏👏👏

[@pgdinamica]

siim 😊

[@nomundoporai5264]

Parabens, muito bom o seu vídeo e sua didática... gostei mesmo.

[@pgdinamica]

Muito obrigada 😃

[@cacpassos74]

Oi Kizzy, obrigado pela explicação. Está me ajudando bastante. E como automatizar o download se não tiver o link? Obrigado.

[@Marujhin]

GRAVA SIIIIM, quero muito aprender a usar selenium no colab kkkkkk (é selenium né? 👀)

[@pgdinamica]

é sim 😊

[@rogeriopst450]

tb gostaria sim rs tks

[@angeo10]

Parabéns pelo canal, fico no aguardando o vídeo com a automação do download.

[@pgdinamica]

Valeu Marcos!

[@rosembergtrindade]

Beleza Kizzy. Ótimo vídeo como sempre muito didática suas explicações. Gostaria muito que vocẽ fizesse o vídeo ensinando este download do covid onde não temos o link e sim o botão. Abraços e sucesso com o canal!!!

[@pgdinamica]

Vou fazer e foi você que motivou esse vídeo :)

[@marco.nascimento]

Muito bom! Faz o outro também sim :)

[@pgdinamica]

Faremos! 😊

[@LucasLopes-le7tp]

Boa tarde, Kizzy! Tenho uma dúvida, estou tentando enviar um valor de data para um campo mas não funciona por nada, utilizo a função desta maneira: Navegador.find_element("xpath", '//*[@id="txtDtIni"]').send_keys("15/05/2022"), este campo, quando clicado sobe um calendário que não pode ser inspecionado, parece um pop up. Como eu poderia inputar essa data no campo? No código fonte até aparece o xpath do campo, mas o calendário que aparece não existe no código fonte. Se alguém tiver ideias, aceito de bom grado! obrigado!

[@ViniciusRodolfo85]

Olá, eu consigo baixar um jogo e executa-lo pelo colab?

[@victorlks]

Não consegui pelo método do vídeo, poderia mostrar outros?

[@pgdinamica]

Oi Victor, há um outro vídeo que ensina a baixar arquivos usando Python e a biblioteca requests: kzbin.info/www/bejne/p6mVfXqqgN-drs0 No entanto, o método deste vídeo deveria funcionar, sim. Me parece que você está um pouco perdido, sem saber exatamente o que está fazendo. Por que não funcionou? Qual erro que deu ou que comportamento imprevisto aconteceu? Por que você não conseguiu resolver a situação, qual a dificuldade?

[@pedrogoncalvesmachado6000]

Gostei muito.

[@pgdinamica]

🙌🏾

[@robsonhenrique4346]

Baixei pro celular como faço pra remover?

[@vitoriarafaela2916]

Muito bom 👏🏽

[@pgdinamica]

Obrigada ✌

[@thiagoide1763]

Parabéns pelo vídeo ! Uma pergunta , não seria melhor passar direto para máquina virtual do q passando Google drive ? Pois o dado estaria na própria máquina melhorando a performance?

[@pgdinamica]

Muito obrigada! Usamos o Google Colab (kzbin.info/www/bejne/lZ6sqKZ3Z8mXicU) para fazer diversas análises aqui no canal, por ser uma ferramenta acessível que funciona como um Jupyter notebook na nuvem. No Colab, temos acesso direto ao Google Drive para armazenarmos e lermos esses dados.

[@thiagoide1763]

@@pgdinamica entendo, Quando utilizo o Google Colab para ML há uma diferença entre utilizar os dados salvos no Google Drive e na própria memória do Google Colab por conta da velocidade de acesso destes dados. Mas no caso de EDA a diferença nao sera tão grande. Estou Correto?

[@WiltonCabral]

Muito Bom!

[@pgdinamica]

Obrigada!

[@edsonreneldacostafilho6009]

Boa dica! E para baixar os arquivos de todos os estados? Precisa repetir 27 vezes o processo, ou tem processo mais simples? Considerando que apenas a sigla UF alteraría no link, tem algum código mais rápido? Segunda pergunta, é possível puxar os dados para o PowerBI? E, sim, queremos sim a ferramenta de automação!

[@maumartelli]

Olá, tudo bem? Há como complementar esse comando para ele "quebrar" o arquivo em vários downloads para acelerar a velocidade para conseguir todo o arquivo?

[@pgdinamica]

Não creio que seja possível. Além do mais, no ambiente do Google Colab, você estará usando a rede da Google que tem uma velocidade bem rápida.

[@thiagorodrigues318]

Oi Kizzy, parabéns pelo conteúdo!! É possível inserir mais de um link de download ao mesmo tempo?

[@cacaprado8464]

Quero demaisssss kkkkk tdo que vc ensina encaixa perfeitamente em algo! Aproveitando, tem como fazer o wget no vscode ou jupyter?

[@pgdinamica]

no jupyter funcionava, não sei se ainda funciona... no vscode vc tem que fazer via terminal e salvar em uma pasta local 😉

[@pedrogoncalvesmachado6000]

Grave o outro video, por favor.

[@djalmapessoasoaresrosa2457]

Comoposso fazer o cadastro

[@alexandreproenca8742]

eu tenho uma planilha com varios links distintos tipo uns 40.000 itens e preciso copiar os arquivos destes links para meu drive pode me ajudar?

[@pgdinamica]

Oi Alexandre, você precisa escrever um programa que leia cada linha da planilha e depois faça a requisicao dos arquivos para cada link, a depender do site, pode ter alguma barreira para o download ;)

[@Marcelo-tz6du]

eu queria saber usar o coolab, pra mim parece estranho ter uma lista de notebook e não por pasta

[@pgdinamica]

Aprenda a usar o Colab com este vídeo: kzbin.info/www/bejne/lZ6sqKZ3Z8mXicU 🙌🏾

[@neliodiassantos]

Queremos sim! Por favor grave! A dúvida que fiquei foi: E de sites de hospedagem de arquivos? Eu posso automatizar para salvar direto no meu drive?

[@pgdinamica]

Que tipo de site Nelio? Pode me dar um exemplo? Abs!

[@neliodiassantos]

@@pgdinamica Mega, MediaFire, repositório de PDF

[@mapseducacional6227]

Olá olá... Muito sensacional essa dica. Mas ainda estou bugando com algumas coisas básicas. Já montei o drive no Colab, mas quando vou fazer o df = pd.read_csv("caminho do arquivo"), dá um erro do tipo UnicodeDecodeError Traceback (most recent call last) pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens() pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_with_dtype() pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._string_convert() pandas/_libs/parsers.pyx in pandas._libs.parsers._string_box_utf8() UnicodeDecodeError: 'utf-8' codec can't decode byte 0x90 in position 3: invalid start byte During handling of the above exception, another exception occurred: UnicodeDecodeError Traceback (most recent call last) in () ----> 1 df = pd.read_csv("/content/drive/MyDrive/Colab Notebooks/verifi.csv") 3 frames /usr/local/lib/python3.7/dist-packages/pandas/io/parsers.py in read(self, nrows) 2155 def read(self, nrows=None): 2156 try: -> 2157 data = self._reader.read(nrows) 2158 except StopIteration: 2159 if self._first_chunk: pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader.read() pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_low_memory() pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._read_rows() pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_column_data() pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_tokens() pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._convert_with_dtype() pandas/_libs/parsers.pyx in pandas._libs.parsers.TextReader._string_convert() pandas/_libs/parsers.pyx in pandas._libs.parsers._string_box_utf8() UnicodeDecodeError: 'utf-8' codec can't decode byte 0x90 in position 3: invalid start byte Poderia ajudar como resolver isso? (Nível iniciante)

[@pgdinamica]

É um problema com o encoding do conjunto de dados, é isso que significa (UnicodeDecodeError: 'utf-8' codec can't decode byte 0x90 in position 3: invalid start byte) - No próprio colab tem uma opção "Search StackOverflow", clicando nela, provavelmente você chegará na solução desse erro :)

[@mapseducacional6227]

@@pgdinamica coloquei o enconding = "ISO-8859-1" e funcionou legal! 😍😍🤓🤓🤓

[@pgdinamica]

@@mapseducacional6227 boooa!

[@humbertosette6797]

muito bom!

[@pgdinamica]

Obrigada!

[@danielmax562]

E se os dados baixados estiverem no formato zip. O que fazer?

[@pgdinamica]

Tem vídeo aqui no canal mostrando como abrir conjuntos de dados compactados: kzbin.info/www/bejne/ZqrcmolqmN6Mrdk

[@esteminador1]

Como posso hospeda colabs em meu proprio site???

[@pgdinamica]

acho que o colab não é possível mas existem outros serviços com “notebooks” que podem funcionar

[@abayomirametj]

E apóio sim outro vídeo explicando como conseguir baixar quando não tem o link certinho

[@pgdinamica]

Show!

[@idcesares]

Muito bom, adorei a dica! Fiquei bem curioso para saber qual seria a velocidade média de upload e download direto pelo colab 🤔 Vi que existe o speedtest-cli e rodei o teste. Resultado: Download: 1406.61 Mbit/s | Upload: 480.20 Mbit/s 😮

[@pgdinamica]

Muito bom, né? 👏🏾

[@PoderMentalOficial]

Muito bom! queria saber como faz sem o link tbem, Kizzy!

[@pgdinamica]

show!

[@vagnerdasilva1652]

Uma dúvida se eu for usar o colab com Torrent to google drive download, para fazer download de filmes direto no meu google drive várias fezes ocorre risco de banir minha conta? kzbin.info/www/bejne/o3bYc3utpd5gh8k

[@mariliatorres]

Queremos essa automação de webscrapping

[@pgdinamica]

boa Marilia, vai sair!

[@rachelfala]

queremos a automaçãaao

[@pgdinamica]

👏🏾👏🏾👏🏾 boraaa!

[@carlosaraujo2343]

Pode gravar sim, isso é uma mão na roda. Pergunta, eu consigo carregar um arquivo local para o Google Drive usando !wget ? Dica, coloca $ antes do argumento link, para não ter que repetir. Exemplo !wget -P '/content/My Drive' $url. Sobre aquela minha dúvida de pessoas vacinadas fora da faixa de idade, acho que pode ser a que elas tomaram a Xepa das vacinas !!!

[@pgdinamica]

Excelente Carlos, obrigada por compartilhar!