Умение парсить на Python - изменит твою жизнь

[@DenisCyberpunk]

Бро, поздравляю со 100к подписчиками!

[@usercommon1]

каво лол, я даже не заметил, что на канале не 13к. тогда ряльна поздравляем.

[@drenoldrend4204]

Решил повторить все тоже самое, также как на видео, установил библиотеку и написал скрипт. Работает! все ссылки появляются в терминале! Python - реально мощная штука!!! Буду дальше изучать!

[@van777ok3]

Гц с 100к бро! С самого начала верил, что наступит этот момент💪🏻

[@voreliss]

Отличный ролик. Поздравляю со 100к :D

[@partemon7646]

Подцветка синтаксиса не очень удачная(или фон редактора). Например, инструкции “import” и “from” сливаются с фоном.

[@frozenplay1417]

Это даже не редактор, он в терминале пишет

[@partemon7646]

@@frozenplay1417чел, ты хочешь сказать, что vim, nano etc… это не текстовые редакторы

[@jujubeperch]

Занимаюсь программированием 2 месяца Спасибо, очень вдохновляет

[@Степан-л1я1г]

И как успехи?)

[@СултанТемирбай-и8я]

@@Степан-л1я1г я тоже примерно столько Прохожу курсы Пайтон на степик спортивное и алгоритмное программирование

[@xwbroun6185]

@@СултанТемирбай-и8я добрый день, ещё не забросили это занятие? Очень интересна тема изучения этого языка программирования, хочу купить курс и учится. Интересно узнать как ваши успехи? Много чему научились? Из добрых побуждений 🤗

[@СултанТемирбай-и8я]

@@xwbroun6185 да думаю вам стоит так заниматься так у вас точно будет план развитие своих навыков . Если я скажу про себя то теперь java разарабом хочу стать и изучаю андройд студио

[@СултанТемирбай-и8я]

@@xwbroun6185 Можно и так сказать . Я думаю сначала посмотреть видео в Ютубе и позаниматься если понравится то купить курс сразу . Мир И большой и каждый день что то новое происходит . Я не буду бросить это дело и вам желаю успехов в этой трудной дороге !

[@ЮрийФеренчук-ф2в]

Принимай поздравления со 100К. Успехов тебе в дальнейшем,ты делаешь нужное дело.

[@кри-к2з]

Поздравляю с 100к подписчиками :)

[@darkhack7966]

За час больше 1000 просмотров, я в ШОКЕ. А МИР ТО СПАСАЕТСЯ !!!!!!

[@aleks_versus]

Спасибо за видео, очень полезное. А нельзя в будущих видео поправить цветовую схему? Красные символы очень плохо читаются, особенно точки.

[@РытабК]

Недавно смотрел про браузер LibreWolf, но каким бы конфиденциальным он ни был, как браузер он никакой, что думаете насчёт "Iridium" мли "GNU/IceCat"? Являются ли они такими же конфиденциальными и безопасными? Инфы по ним в интернете невероятно мало.

[@gabrielrussel4015]

Просмотр этого каналa дал толчок к изучению программирования (бесплатный курс Python), а новые темы на канале - к его использованию на практике. Спасибо!

[@rabid_bear]

скажи пожалуйста, какой курс проходил?

[@aboutigor00]

А что ты в Сомалиленде делаешь??

[@mikhailsorochinskii8220]

Лайкос! Поздравляю с 100К!

[@cyborgbeatmaker2597]

ооооо с 100к бро,помню времена когда на этом канале звучил голос робота с)))

[@alexxis246]

Учтите, что bs4 работает нормально только в том случае, если интернет-ресурс отдает уже сгенерированную html-страницу, что в наше время уже редкость. На данный момент весь html-контент генерирует javascript, что заставляет нас использовать микро-браузеры для загрузки html-страницы+обработка javascripta. Сейчас все популярнее phantomJs

[@programmingand7626]

Тааак стоп ты передпалагвешь изучить HTML CSS JavaScript?

[@alexxis246]

​@@programmingand7626 ну джаваскрипт - нет. Я имел в виду, что для нормальной работы bs4 необходимо полностью прогрузить html-страницу. Полностью прогрузить имеется в виду заставить браузер обработать javascript, которые используют сайты для того чтобы генерировать html-старничку. Как только страничка будет отрендерина, можно применять bs4. Принцип предварительной прогрузки страницы используются в новом видео Черный Труегольник (Парсинг с Selenium)

[@alexcrow7517]

Здравствуй Треугольник, отличное видео,парсинг освоить необходимо!

[@dartay2893]

Видео бомба Поздравляю с 100к

[@criterrors]

а как быть с сайтами, которые динамически генерируют контент яваскриптом например?

[@the_gouda_man]

Нужен браузерный движок. Можно использовать selenium как распространённый вариант

[@frederiktatum9918]

А что за библиотека, которая переводит ?

[@blum_base]

Какие языки были использованы в видео ?

[@d1n086]

А почему в 5:28 не сделал f-строку? Есть причина какая-то? Я просто часто использую, может зря?

[@AlexandrSpirit]

Всё это хорошо, но все нормальные ресурсы за cloudflare сидят. Обычным реквестсом не пройти. Только Selenium и т.п. Может у вас есть решение обхода защиты cloudflare, без использования браузеры в headless-режиме??

[@6trica1a3]

А что за мелодия на фоне, не подскажете?

[@slepnir1366]

Приветствую! А можно поподробнее рассказать про парсер для Авито (упоминается в конце ролика)? Ну или в краце суть работы его алгоритма?

[@АнтонКупянський]

Первое видео с этого канала которое я посмотрел. И сразу же подпысываюсь!! Годнота что скажешь. Автору респект

[@alexbut8324]

Поздравляю с 6тизначным числом подписчиков!!! Кстати, жду NFT от Чёрного Треугольника)

[@fanyplay5364]

данный метод не работает выскакивает ошибка AttributeError: module 'requests' has no attribute 'text' помогите

[@psevdonimi_govno]

наверное у тебя не скачена библиотека requests

[@xtile4545]

Поздравляю со 100k!

[@ЯрославНоздрин-ъ6ф]

'''ПРИВЕТ ЧЕРНЫЙ ТРЕУГОЛЬНИК ОТЛИЧНО СУПЕР КЛАСС'''

[@meowxd1337]

Поздравляю с 100к подписчиков

[@zvorian1773]

Шикарное видео! Очень понравилось. Хочу еще что-то подобное.

[@SlavaArgentina]

Да, парсинг очень простая и очень эффективная технология. Спасибо, что поддерживаете свободное ПО!

[@MrTASGER]

Неплохо. Только один нюанс. Ты назвал переменную 'request', но в ней хранится ответ от сервера. То есть response.

[@nishichi]

Еще один, tHeme

[@Baxter_13]

Поздравляю с ростом канала!

[@kali_256]

скрипт рабочий, но только после выпуска на канале сайт скорее всего поставил защиту, потому что через 7-10 запросов выходит ошибка. решает добавление юзер агента ,чтобы сайт видел реального пользователя, а не запросы пайтона, и добавление в 2-х местах библиотеки time - sleep(10), чтобы увеличить время следующего запроса, потому что огромное кол-во запросов это явный признак парсера. И вместо "html-parser" лучше "lxml", как мне кажется. Вопрос к треугольнику - какой библиотекой перевода пользуешься? вполне зашел translate для этого парсера, только там ограничение, как я понимаю.

[@kali_256]

@@ali_nur31 Пиши телегу, вечером закину

[@stevenrichardson14]

Доброй ночи... подскажите пожалуйста такой вопрос , у меня адрес Биткойн кошелька 34 значный действующий... а бывают щас уже 42 значные зачисление средств произойдёт на него с 34 значного ? А то как то мне , один обменник не смог зачислить Битки на такой вот длинный кошелёк больше 36 символов который...

[@rv4112]

Извини, друг, ты писал, смог есть сома курса по Python, но страничка не активна, можешь обновить ссылку?

[@azizakhmedov]

интересует парсер на новые проекты на фриланс биржах, с авторизацией и звуковым уведомлением)

[@jennysavvage9094]

Поздравляю с 100к подписчиков! Удачи в будущем! 🎉🎉🎉

[@waucr]

что посоветуешь для перехода с винды arch linux или debian?

[@any7513]

Скачать их

[@ga1i]

А самое главное автоматизация поиска под человека, а не под корпоративные хотелки;)

[@СергейПетров-л1к]

Что за музыка играет в видео?

[@wiseswiper]

Спасибо, Треугольник! Полезно, качественно, и просто приятно смотреть и слушать.

[@ДьяконВалерьянович]

Где можно тебе задать вопрос по коду который ты тут писал. Здесь не хочу засарять эфир. )

[@Ланс-м1в]

Спасибо большое. Хотел научится скачивать видео лекции. Теперь понимаю, что есть инструменты для этого и стоит только начать их изучать.

[@mypersonal_channel]

Поздравляю с 100К!

[@3016292]

Очень познавательно и интересно, но музыка мешает( Хотя бы тише, было бы лучше)))

[@АлымбусяШергазиев]

Благодарю за ваш чудесный труд 👍

[@xx3027]

привет питон без английского языка учить возможна?

[@Black_Triangle]

Yes

[@whitehat-it-4096]

Привет, поможешь с парсингом цены криптовалюты, никак не могу понять?

[@ВалераБелов-щ8е]

Подскажи пожалуйста , курс подойти для начинающего в изучении питона???

[@Levelord92]

а как на этом можно заработать?

[@lazariliev340]

Класс, спасибо! Однако, не не совсем понятно для чего нужна конвертация в str в if на строке 21 str(temes)? Спасибо за ответ!

[@holodina]

Оператор in в условии ищет строку в строке(в данном случае 'github.com'), но temes не является строкой(это список) и поэтому нужно его обернуть в метод str, чтобы он был строкой

[@andrleew]

почему не selenium?.. оно видится немного велосипедом

[@АнтонВидович]

Можешь расказать про обход капчи, а особенно про Google капчу?

[@baronpetrov2546]

Вообще ты Красавчег ! Успехов тебе Бро !

[@Deathcreeption]

Уроков по парсингу подобных сайтов уйма. Но есть сайты, которые хранят ссылки не в таком явном виде. Попробуй например распарсить bandcamp по определенному тегу(жанру), чтобы выдавались именно новые релизы. А на Степике действительно крутой курс (бесплатный тоже очень даже годный).

[@Vadim-pp6hg]

Расскажи о парсинге файлов XLS / XLSX с объединёнными ячейками)

[@grygoryalekseevich7792]

При изучении курса чашку кофе нужно держать в руке?

[@stranger_6698]

Как на счет сделать парсер-монитор цен на авито? Хочу посмотреть именно твой вариант. Код у тебя хороший)

[@marcusrk2007]

Авито нельзя парсить

[@stranger_6698]

@@marcusrk2007 почему? ЧТ в конце говорит что у него мониторинг цен для онлайн магазинов

[@marcusrk2007]

@@stranger_6698 потому что у них в правилах так написано

[@ЖансерикНурым-й3у]

Какой линукс юзаешь?

[@hiposter2601]

привет! у меня вылазиет ошибка с bs4 на арч линуксе ImportError: cannot import name 'BeautifulSoup' from partially initialized module 'bs4' (most likely due to a circular import) (/home/archuser/.local/lib/python3.10/site-packages/bs4/__init__.py)

[@Степан-л1я1г]

Привет, много надо времени чтобы обучиться пайтену?

[@d1n086]

А как с помощью питона можно нажимать на жаваскриптовые кнопки на сайте?

[@АлександрК-ш]

А как внедрить библиотеку с переводом?

[@helen_kashina]

На какой программе он делал этот код очень нужно?

[@АшурМезлан]

Как называется жанр музыки, который играет на заднем фоне?

[@dok_grand_master7859]

На эмбиент похоже

[@jw200]

Distance - Karl Casey

[@dok_grand_master7859]

@@jw200 благодарю

[@ВладимирЗамелацкий]

списал код, но не работает. не ищет ссылки. в чем проблема?

[@Aver812]

Подходит ли данный курс для абсолютных новичков в программировании?

[@dogman2921]

Ура 100к!!

[@Blacker-bw3se]

Ролик отличный! Побольше бы таких по программированию.

[@ep44124]

НУ ДРУЖИЩЕ, какой if x==0: Что это такое ? Почему ты не используешь возможности пайтона ?((((((((((((((((

[@mlop8692]

А мне доступ к сайту заблокировали:(

[@mlop8692]

но я создал генератор ссылок и оно может передвигаться, жалко ничего не находит из-за блока(

[@mlop8692]

думаю прокси поможет, но его мне делать лень :D

[@MetamorphosisMetamorphosis-s]

И чё это значит:? Traceback (most recent call last): File "22222", line 2, in import request ModuleNotFoundError: No module named 'request' >>>

[@dok_grand_master7859]

pip install requests

[@СергейПресняков-о4р]

Парсинг со временем всё меньше работает. Если на страницу как сейчас модно, подгружается только javascript, который динамически генерирует контент или отложенно подтягивает его, то парсить нечего. Многие сайты недолюбливают сам факт парсинга и банят. Хочешь контент - заходи ручками и смотри.

[@АлександрВладимирович-в1й]

Ну так раз JS подгружает контент динамически, ещё проще брать данные из XHR 🤷‍♂️

[@ballisticcorporation2058]

Ребят, посоветуйте хороший и анонимный кошелек для хранения zcash, monero, bitcoin ?

[@vebnik111]

Выгорел после 2х лет безбашенного кодинга и никак не мог приступить опять что-то постигать, но твои последние слова сильно зацепили. Появилась небольшая искорка, из которой может опять разгореться великое пламя. Спасибо.

[@nullnull295]

я также сгорел, причем я даже прогером не успел поработать)) года 2-3 для себя что-то делал и достало просто

[@vebnik111]

@@nullnull295 Ну моя основная работа связана с программированием. Только с питона я перешёл на полный стэк(фронт-бэк) js.

[@mixailsamoilov7514]

Привет, видео топ. Можешь дать пару советов. Я решил установить linux. Каким ты пользуешься? Или какой можешь посоветуешь?

[@volumecore3855]

Очень интересно и, оказывается, совсем несложно! Спасибо)

[@govdamikhaylo4183]

Это очень примитивный парсинг

[@wtfaker]

Почему голос повторяет вычисление ссылок, если подразумевает вычленение )

[@javn7180]

А что если я вхожу на сайт через логин и пароль ? Тоже можно же парсить ?

[@pypypy4228]

Ссылка в описании на другой курс, не соответствующий названию

[@garrig1925]

Привет! попытался воспроизвести, на выходе-0, ошибки, есть ссылка на текст

[@ИнякинАлександр]

Ага, как извлекать ссылки со страницы показывает на Питоне. А с Гитхаба показывает пример страницы проекта на Расте. Теперь мы знаем, на чьей стороне ты на самом деле...

[@ЯрославНоздрин-ъ6ф]

'''ПРИВЕТ ЧЕРНЫЙ ТРЕУГОЛЬНИК '''Вопрос стоит ли регистрироваться на Ютубе Под данными с этого аккаунта или другими данными''' '''

[@VladMair]

Я человек простой - вижу Треугольник, ставлю лайк.

[@XIeepy1]

Поздравляю со 100к

[@антипвакшен]

Поздравляю с 100к!

[@CITNM]

Рассказываю о том, как начать свою путь в Кибербезопасности. Озвучиваю книгу по криптографии и шифровании на Python. Присоеденяйтесь!

[@imtra3189]

Треугольник, поздравляю тебя со 100к сабов

[@rolton6307]

ModuleNotFoundError: No module named 'bs4' скажите пожалуйста что делать, всё из интернета не работает

[@stepanmatveev]

установи библиотеку bs4, после этого пробуй запускать код

[@rolton6307]

@@stepanmatveev ты реально думаешь что я перед этим не установил его????! я написал что всё из интернета не работает, очевидно что я пробовал его установить

[@stepanmatveev]

@@rolton6307 1) ну не может "всё из интернета" не работать 2) общение на "ты" в незнакомым человеком сразу показывает низкий уровень культуры 3) удачи в решении проблемы, я лишь пытался помочь ;-)

[@rolton6307]

@@stepanmatveev в контексте моего сообщение было бы неуместно обращаться к вам на вы

[@augustwalter2586]

поздравляю с сотней тысяч подписчиков! можешь, пожалуйста, сказать какой дистрибутив гну/линукс ты используешь?

[@sergeysergey5409]

Раньше debian + xfce, сейчас debian + dwm.

[@augustwalter2586]

дебиан ведь с системд....

[@sergeysergey5409]

@@augustwalter2586 уязвимости есть везде :-\

[@sergeysergey5409]

@@augustwalter2586 плюс еще есть сборки с вырезанным систем ди

[@sergeysergey5409]

@@augustwalter2586 если хочешь по настоящему анонимную систему, то из исходников собирай ядро линукс, все собирай из исходников. Перед этим аудит проводи. Драйверы пиши свои, ведь почти все драйверы проприетарны. И собирай свой собственный идеальный по-настоящему безопасный дистрибутив. Плюс присмотрись к арч и генту - линукс. Если новичок, то дебиан - идеал и баланс.

[@ВячеславТараканов-б9и]

А почему парсинг всегда ассоциируется с питоном?

[@ИванИванов-л9ы3к]

Как парсить blob js c сайта?

[@yuvenaliyt.3389]

С что за музыка играет ?

[@jw200]

Distance - Karl Casey

[@prostaknaivnyj5976]

в этом мире побеждает тот кто умеет вычислять по айпи!

[@youngtitanium6418]

Словил инсульт от нейминга переменных

[@alexfox9049]

Это wim ??

[@ОлегХрипов-р6в]

Если не секрет, то что ещё у тебя автоматизировано?

[@ПашаДружинин-ч9ы]

создание видео