Делаем парсер HTML на C#

[@TakuatChanel]

Спасибо, хоть ролик и идет 20 минут, но я потратил на его просмотр около 4 дней вникая в интерфейсы, обобщения и прочее, узнал много полезного вообщем)

[@victorpolyakov3031]

Черт, я чувствую себя умным! Я понимаю, что тут происходит! Продолжай выпускать такие простые ролики))

[@trueyolu1906]

Большое тебе спасибо за видео. Это моё первое видео, которое я смотрю на твоём канале, и оно очень сильно меня радует. Обязательно подписываюсь! :)

[@kenguru1941]

Может раньше и работало, но сейчас в классе HtmlLoader нужно в строке url = $"{settings.BaseUrl}/{settings.Prefix}/"; убрать один слеш между скобок. Вот так - url = $"{settings.BaseUrl}{settings.Prefix}/"; Иначе будет парсить на одной странице.

[@xeleos]

У HtmlParser уже нет такого метода ParseAsync, теперь он называется ParseDocumentAsync

[@andrewhkh23]

Благодарю дружище помог)

[@nellaiiiii]

HttpParser не находит, не знаешь в чем проблема?

[@oleksandrshmalko626]

Дядечка айПро , респект тебе от английского комьюнити и уважение от пацанов , помог

[@sierraww2]

Чувак ты самый лучший!!!! Удачи тебе во всем!

[@intsyn]

То чувство когда начинаешь понимать что такое интерфейсы, как их реализовывают ...

[@ВикторКурышев-ч3р]

Парни, респект. Отличный видос. С удовольствием повторил, многому научился.

[@nikbrons]

Было бы шикарно увидеть этот парсер, но в обертке MVC/MVP или MVVM)

[@Independent19c]

вау,вот это оперативно только бахнул вопрос. на трансляции про парсер и вуаля) класс спасибо!Лайк жирнющий!

[@Algok17]

Крутяк! Давно хотел научиться парсить сайты и тут на этот урок наткнулся. Всё понятно объясняешь, красиво кодишь и шутеички в меру. Снимаю шляпу, качаю проект.

[@Algok17]

Сразу не запустилось. Нужно обновить AngleSharp и перед отправкой запроса в строке var response = await client.GetAsync(currentUrl); выполнить ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 | SecurityProtocolType.Tls11 | SecurityProtocolType.Tls;

[@Algok17]

В идеале бы @ExtremeCode мой пулл реквест принял - там всё готово уже.

[@vladisslavss]

Ты просто лучший!) После тяжелого рабочего дня твои видосики словно бальзам!)

[@mikedastro2930]

что то пошло не так в Parser Worker в вызове метода //// короче var htmlparser = new HtmlParser(); var doc = await htmlparser.ParseDocumentAsync(нет ParseAsync() (( чем его заменить ))(source.ToString(),System.Threading.CancellationToken.None); var result =Parser.Parse(doc);

[@Андрей-я7н6к]

помог. очень помог. не знаю, почему другие с такой же проблемой не столкнулись

[@sp1ne2104]

так пакеты обновляются постоянно, методы изменяются, тут либо использовать старую версию как у автора или читать документацию

[@КириллЕвстратов-е2л]

у меня при создании экземпляра HtmlParser падает, пишет: "Additional information: Не удалось загрузить файл или сборку "System.Text.Encoding.CodePages, Version=4.1.1.0, Culture=neutral, PublicKeyToken=b03f5f7f11d50a3a" либо одну из их зависимостей. Не удается найти указанный файл." Хотя я воспользовался подсказкой и все красные подчеркивания убрались. Нагуглил что то про добавление в конфиг этого: но не помогло, ошибок нет, но падает

[@gevamain1751]

И вот уже почти 2020 год, а второй части так и нет(( за слова не отвечаешь ска!!!(тип агро)

[@AzizjanAyupov_leo]

А он разве говорил за вторую часть?

[@ВладиславЗамікула]

@@AzizjanAyupov_leo говорил 23:41

[@AzizjanAyupov_leo]

@@ВладиславЗамікула и правда!

[@gilman2056]

Вот никуя не понятно, но один х интересно смотреть

[@apdgslfhsodbna]

))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))

[@t3m8ch]

А я понял только после самостоятельного прочтения на GitHub)

[@johnwalker1232]

Спасибо за видео, давно его ждал. Отличный канал!

[@koshatec]

Фу фу фу за WF. Кодинг с юмором мне заходит. Лайк, подписка

[@dimakom2726]

Мудрено, но понятно) Лукас!

[@santiago1488]

братик, спасиб от души душевно в душу +лайк +подписка

[@milovidov42]

До конца еще не досмотрел но вот комментарии автора просто чумовые! )

[@johanesskrauseriii3798]

Ну вот опять. Видео 24 минуты идёт, а делаешь всё 2-3 часа, ибо надо загуглить все непонятные моменты.

[@andreybondarev1956]

ска, а их много ;)

[@geek__3743]

Привет! Помнишь давным давно, вы писали парсер proxy?(Кто помнит и видел ставьте лайк ;)) Так вот, не мог бы ты запилить видосик про proxy checker. Выручи плиз)). P.S. Я думаю в тему "C# - Туториалы" норм будет!

[@bad_jaguar]

Geek_ _ присоединяюсь

[@apdgslfhsodbna]

Geek_ _ , ай ай ай ))))

[@serios7149]

Ждем вторую часть)

[@Abo56Volo]

а я использую Selenium для этих целях. Парсить через CSS либо XPath. Удобно, когда надо парсить защищенного текста.

[@anonimanonim1428]

Ну ви іздіваєтися, превратили один маленький клас, в цілий проект!

[@collesssqwer1673]

я конечно не эксперт да и видео уже попахивает "актуальной" информацией но на моменте 6:34 разве не лучше ли было использовать Select, (и выбрать нужное свойство вместо того чтобы всё в лист через цикл записывать), а потом сразу же вызвать метод ToArray(), или это такой High Level стёб который слишком крут для меня ?

[@stanislavhrytsyshyn1732]

Спасибо, хорошая работа парень!

[@БанкирТв-к2л]

Молодец, шо тут сказать, юмор прикольный)

[@snakelivegames821]

Как же ты классно это записал, лайк тебе за креативность и полезность информации. Спасибо

[@AlexM-gn7bp]

А вообще спасибо за видео, хороший пример наглядного использования интерефейсов да еще и обобщенных

[@АлександрЯркин-й9я]

Пиздатый код. Пиздатое ооп. Пиздатый парсер

[@artursveshnikov7668]

Сделал на .net core 3.1 буква в букву, всё отлично работает.

[@AlexM-gn7bp]

вопрос почему вы используете в классе ParserWorker в приватном методе Worker() - async void а не async Task? это же не метод обработчик события

[@ExtremeCode]

Привет, тут все просто, грубо говоря, если необходимо дожидаться выполнения асинхронного метода через await, то делаем его тип Task, если не нужно - то не делаем, в нашем контексте этот метод просто работает в фоне, и информирует о завершении с помощью события, так что тип Task тут не используется

[@AlexM-gn7bp]

а экспеншны(теоретические если такоевые будут) куда будут вылетать?

[@vladyslavromanov7039]

Можно делать Task и не дожидаться его. Очень много тем есть на этот счет, мол почему лучше юзать Task, а не void (когда это возможно)

[@SuleimanVatrushkin]

Нихуя не понял, но очень интересно!

[@maxbrain9205]

В конце, когда делаешь форму, невозможно что-то успеть разглядеть, если не жать постоянно паузу и не отматывать назад много раз. Так ведь придется еще раз смотреть этот отрывок после создания формы, чтобы послушать твою речь. Найс...

[@Ramzes646]

iPro, большое спасибо. Продолжай!

[@linker-arm]

Спосибо тебе, дядюшка IPro

[@Simon-tk8im]

Все очень круто, а кто-нибудь парсер погоды делал из этого?

[@artemadeev7444]

удалось сделать ? у меня одна страница на yandex.ru/pogoda/novosibirsk/details?via=mf#2 соответственно мне не нужен переход страниц и я застрял блин.

[@fullboarduck5491]

Кажется я не туда полез, мне сюда ещё рано(

[@yaroslavkolyada6914]

async void это не преступление? для abort не логичнее ли использовать CancelationToken?

[@Alpaha92]

Отличный видос) Жаль, что парсер не подойдёт для тех, кто узнаёт о количестве страниц из пагинации, к примеру :)

[@MegaSping]

спасибо, как раз что нужно для моего говно-парсера с моими копирайтами задумка та же, но придется еще научить открывать его страницы и жмакать на кнопки внутри них

[@alisher.sabirov]

Сделай видео где можно было парсить более сложные вещи бро! Спасибо

[@НиколайВьюгин-ъ5ш]

Повторил за автором, 5 лет дали о себе знать, 20 ошибок....

[@iseengreenenjoyer]

>Делаем парсер >HTMLDocument Неплохо

[@avalonex2971]

удивительно как человек предсказал это событие: 4:10

[@norker43]

Хотел на основе этого кода забацать парсер lostfilm, который просто выводит названия из списка сериалов в listbox, но столкнулся с проблемой. Из-за того, что контент на странице генерируется динамически парсятся только первые 10 строк. Вот ролик о том как это делать, мне бы очень пригодился

[@sp1ne2104]

посмотри тут: stackoverflow.com/questions/24130650/scraping-data-dynamically-generated-by-javascript-in-html-document-using-c-sharp или попробуй Selenium. Посмотри ещё CefSharp

[@gloomkol]

ыПро, спасибо за C#! Мистя, а к тебе все еще остается один вопрос: Где C# ???

[@РоманКанарейкин]

Как сделать чтобы отлавливал теги которые находятся в теге ? Он тупо не видит все что внутри этого тега , хотя то, что внутри так же подходит под параметры. Вот пример: Моя строка в классе "HabraParser" : var items = document.QuerySelectorAll("span").Where(x => x.ClassName != null && x.ClassName.Contains("q")); А вот кусок HTML кода, в котором есть строка, которая подходит под параметры выборки: .... Оглушает цель на 5 сек.. Действует только на замороженных противников. .... Но парсер не индексирует то, что находится в теге (в остальном все работает). Как заставить его индексировать внутри ? Не хочется брать целиком весь и регулярными выражениями выбирать все это.

[@stepanzvarich6699]

Спасибо) Очень помог)

[@andriimilkevych1844]

Ау, где вторая часть? Со сложными примерами??? Уже 4 года прошло!!

[@TheShadow0197]

Спасибо! Использую в своем проекте =)

[@TOPCHANNELSTOP]

Тэк будет вторая часть?))

[@eynsherkiel4913]

Не надо делать интерфейсы на всё подряд. Зачем они настройкам? Вы не собираетесь их мокать, вам не нужно их переопределять. А уж тем более нельзя чтобы настройки как то по разному генерили поля. То есть настройки это обычный картеж данных передаваемых в процедуру / класс и тд. Они должны быть константы в сути своей.

[@magpiehq8973]

Ну я захочу переопределить, помокать и даже по разному генерить поля. Идёт расчёт на то, что тот, кто просмотрел видос, сможет допилить ручонками требуемый функционал.

[@Coool]

Все клево но не очень жизнено. Если будет 500 с хером страниц - затрахаешься парсить. А многопоток без допиливания не завезти

[@ExtremeCode]

Да не так уж и сложно, цикл Worker'а переделать на while, счетчик вынести в поле и синхронизовать увеличение lock'ом, в методе Start запускать нужное количество раз при помощи Task.Run, только в UI надо тоже при помощи инвоков синхронизовать вывод элементов

[@ПавелТ-л7ь]

В реальных проектах на больших объёмах SAX parser выигрывает

[@bad_jaguar]

Всё аккуенно понятно. Завтра попробую пильнуть. С формами ещё не работал правда, но разобраться можно

[@alexandrsharp920]

Какой клиент лучше юзать для парсинга ? http или webclient ?

[@Мастер-б6х]

Не работает проект скаченный. Просит еще какие то пакеты. AngleSharp установлен Не подскажите? Visual studio 17

[@александрровенский-з1э]

там маленькая опечатка, в одном из namespace написано Parser.Cor

[@RosemiNext]

Понимаю, что видос старинный, но! Парсер должен быть универсальным. Пользователь должен только ввести адресс страницы, а затем уже вибирать, что с этой страницы ему надо просто просмотреть , какую-то ссылку скопировать, что -то скачать, преобразовать страницу или запустить свой скрипт на ней. Парсер также должен быть удобен в плане работы с диском ПК. И боже упаси использовать Form... слишком старая технология. Хотя-бы WPF.

[@milovidov42]

Досмотрел до конца все супер спасибо пиши есче!

[@MrSinn3r]

А у вас *ус отклеился* абстракции потекли

[@yazimmaable]

на 22 строке переменная типа string. присваиваете null.Разве по умолчанию она уже не равна null?

[@КириллЕвстратов-е2л]

по умолчанию она = "" - (string.empty)

[@testantestovich1698]

Спасибо за видео! Есть вопрос, если мне нужно вытянуть УРЛы изображений со всего, не с одной страницы а со всего сайта, это возможно? Можете помочь? УРЛ изображения находится здесь:

[@anonimanonim1428]

div[class='img'] на тобі селектор

[@RubySirius]

Слушай, мне нужно сделать которая будет сравнивать файл на сайте с файлом на компе, т.е. проверять обновление файла. если он обновился, то заменить старую версию. может подскажешь чего или видос запилишь?

[@geek__3743]

string str1="any text"; string str2="any text"; bool equal=(str1==str2);//True bool equal1 = str1.Equals(str2);//True str2="another text"; equal=(str1==str2);//False equal1 = str1.Equals(str2);//False по идеи у класса String есть перегрузка оператора ==, которая неявно выполняет метод Equals, но я могу ошибаться

[@Alex-w1v7k]

Ммм...а зачем в HarbraParser.Parse надо было добавлять это все в лист да еще и циклом?

[@АлександрИви]

Поделитесь пожалуйста Где можно почитать описание библиотеки "AngleSharp" для парсера и в видео вы говорили что есть где то код на исходник но я его не нашел . С уважением IVI.

[@leonid_konoplin]

братуля, где вторая часть?

[@slivich]

А можете рассказать как из всей это информации вывести только нужное тебе в другое окно (по ключевым словам)

[@valtaiga]

Спасибо, как ни странно, я большинство понял и вообще заебись представляешь пособие (интересно). А если серьезно, то через WebSockets как-то проще это делать, не очень понимаю зачем велосипед изобретать)

[@vadimzhuravskyi7222]

учус щас с++ и с# мне интересно если данные с сайта можно получить только с авторизацией как програмно сделать это? или нужен АПИ? мб есть у кого информация

[@AzizjanAyupov_leo]

Классный туториал) Но зачем, а главное нахуя создавать property IsActive если всё равно его не используешь?))

[@ВНаушниках-о7н]

не получается гугл парсить QuerySelectorAll без результатов. такое чуство что натыкаюсь на капчу и не видно никаких классов помогите

[@_petux7355]

Я нихуя не понял, но ты сделал мне проектную за 2е суток до сдачи

[@followtheculture8817]

Как научить парсер переходить по ссылкам и парсить данные дальше ?

[@BoxaShu]

давай продолжение.

[@НиколайФролов-м3м]

Давай вторую часть! =)

[@GrafMKristo]

OnSomething?.Invoke(this); Я не знаю, что это за нотация! Справочники по событиям молчат. Ткните пожалуйста!

[@ExtremeCode]

Это короткий аналог вот такой конструкции if(OnSomething != null) { OnSomething(this); } P.S. Это делегат, а не событие. У делегатов есть метод Invoke, который по сути аналогичным образом вызывает метод по ссылке, оператор ? проверяет равен ли делегат OnSomething null'у, если там есть что либо, то вызывается метод Invoke со следующими аргументами

[@GrafMKristo]

Большое спасибо, дядя iPro!

[@Excalib]

Мне кажется он имел ввиду именование "OnSomething"

[@almazmusic]

Образцовый туториал по кодингу

[@РинатРаот]

Блин,круто))

[@andrewbonchuk450]

День добрый! Проблема с VS 17, нет консольного менеджера пакетов. Что за беда?

[@andrewbonchuk450]

И в вид >> другие окна>> нет Package Manager Console. Гугл молчит.

[@IndGam]

устанавливай NuGet

[@yuriilitvin3306]

Давай 2-ю часть!!!!!

[@ДмитрийН-л9ф]

4:09 чудная кнопка! а что если она не появилась?

[@AzizjanAyupov_leo]

Ctrl + .

[@maksymo9917]

когда вторая часть ?)

[@andrmiw9]

а что делать, если не нужен вообще префикс, например для вк? Я попробовал его убрать, не помогло(

[@kem0n]

Скачал и запустил проект, выкидывает HttpRequestException....

[@kamushekdev]

А почему бы не использовать токен отмены вместо булевой переменной? :D

[@ExtremeCode]

Я програмест, я так вижу

[@CrafterMinecrafter]

11:10 ОН ГЕНИЙ!!!

[@K14M]

Что делать если даже не устанавливается? Install-Package AngleSharp Install-Package : Совпадения для указанных условий поиска и имени пакета "AngleSharp" не найдены. Чтобы просмотреть все доступные зарегистрированные источники пакетов, исполь зуйте командлет Get-PackageSource. строка:1 знак:1 + Install-Package AngleSharp + ~~~~~~~~~~~~~~~~~~~~~~~~~~ + CategoryInfo : ObjectNotFound: (Microsoft.Power....InstallPackage:InstallPackage) [Install-Package], Exception + FullyQualifiedErrorId : NoMatchFoundForCriteria,Microsoft.PowerShell.PackageManagement.Cmdlets.InstallPackage

[@forcewillbewithyoualways3116]

Спасибо!

[@nikitanikitenko5338]

Просто лучший!

[@yah9011]

Мудак он.

[@sdfsdfgs]

А чё видео по удаляли?(была же годнота)

[@НиколайНиколаев-ю6п]

решили, что не соответствует новому формату. Если соскучился по старым видосам, можешь найти их в нашей группе в вк.

[@neuro_kurwa]

❤

[@xbmusics]

Проблема с выведение данных в ListBox... У кого существуют из мимо проходящих такая проблема?

[@cyrilk4338]

Спасибо !!!

[@blt_r]

А на кой хер эта дичь с LINQ нужна? Смысл QuerySelectorAll в том, что он работает как querySelectorAll из js, то есть можно передать туда любой css селектор. QuerySelectorAll("a.post__title_link") вернёт тебе все елементы "a" с классом "post__title_link"

[@SerGasparyan]

Ахах сука два часа смотрел все повторял писал то да се и на паузы ставил а он в конце плять - ну кодец то я оставлю )))) Ну спасибо плять)

[@nixhalla3uk27]

Ну если ты как даун, просто всё переписываешь и не учишься, то зачем вообще смотреть было ?

[@Drapiks]

лайк неглядя

[@adhamkhaytbaev16]

а как ты файл создал??

[@GGamess]

в ruby это несколько строчек.