Как скачать Интернет?

Как скачать Интернет?
Хоть такая задача и звучит как полный бред, она, на удивление, вполне актуальна. Более того! Крупные IT компаний, вроде Яндекс и Google занимаются этим на регулярной основе. Для того чтобы какой-то сайт выдавался в поиске нужно этот сайт проанализировать: Какой в нём текст, какие картинки/видео, какие ссылки.
И чтобы охватить чуть ли не весь доступный интернет, поисковые системы, с определенной периодичностью, используют так называемые «краулеры». Однако, для загрузки Интернета, одного лишь краулера недостаточно, но об этом я расскажу в видео!
Привет! Меня зовут Игорь. На моём канале ты сможешь найти уроки по нейронным сетям, визуализации данных и программированию в целом.
Моя цель - сделать программирование более доступным и понятным. Для просмотра моих видео вам не нужно высшее образование по Computer science. Все непонятные темы и термины я буду понятно объяснять и показывать на примерах.
Оставайся с нами, и чтобы не пропустить ни одного видео - подписывайся на канал и нажимай на колокольчик!
► Ссылки из видео:
Код из видео в GitHub - github.com/IgorVolochay/crawler
Статья про PyWebCopy на Хабр - habr.com/ru/articles/669766/
✈️ Telegram канал - t.me/PseudoDeveloper
✅ Группа VK - bit.ly/VK_PseudoDev
💲💲 Поддержи проект на Boosty - boosty.to/pseudodev
📖 Плейлист "Программирование на Практике" - • Программирование на пр...
📖 Плейлист “Нейронные Сети на Понятном Языке” - • Нейронные Сети на Поня...
📖 Плейлист "Изучение NumPy" -
• Изучение NumPy

[@user-hl5og2qz5s]

Возвращение легенды)

[@_mnc_de]

Поставил лайк с 3х аккаунтов, с 2ух из них еще и коммент написал)

[@PseudoDev]

Давно не виделись ❤️

[@user-cc9nm3si8k]

слушай а расскажи про google api. будет интересно посмотреть как можно скачивать видео или коменти с ютуба для пооследующива сахрананения напремер

[@user-ht8hx4gy4e]

да у онигири вроде про ета видео было

[@user-wc4sy3xs9p]

Для скачивания видео с ютуб, есть библиотека pytube.

[@user-zd7nu6ce1x]

Круто! Развивай дальше канал, у тебя есть нехилые задатки стать популярным блогером

[@user-hl5og2qz5s]

3ий коммент от меня, звездочку на гитхабе поставил

[@JurasicArk]

посмотрел одно видео -подписался - на следующий день вышло видео)

[@PseudoDev]

А кто-то год ждал 😅

[@Lisan22._.]

Лакер :3

[@djdje75hbebd5kzoem]

подача материала хайп

[@user-ey2vv1dl3n]

снято с юмором норм, но вот все расказывают как реквестом по ссылкам ходить и ни кто как понять какие сайты скрываются за ip адресом...

[@PianoElipse]

вот как раз для такого я и прикупил новый жопный диск, хотя мне всего лишь нужно то скачать ведросы с утуба и все, всесь интернет качать -глупо (лично для меня).

[@Stabidi2023]

Рассел из half life alex be like

[@v1ammer_400]

вместо 'html.parser' можно использовать 'lxml' и тогда соберётся немного больше сайтов и за меньшее время(у меня время уменьшилось с 18 до 16 минут на тех же данных)

[@amanshaker9908]

У тебя в комментариях девушки не пишут что ли?

[@PseudoDev]

А что, активно ищешь?

[@meimeifanboy]

постригся (

[@PseudoDev]

🕺

[@Lisan22._.]

Рыдали всем селом когда брила (