Парсинг данных с любого сайта на C#. Часть 3 - парсинг данных интернет-магазина.

[@SHILY-PROJECT]

Шикарно! Спасибо за труды! Было бы интересно так же c андроид приложениями (vk, inst и т.д.), работу с сертификатами и всё в этом духе:)

[@GanovAlex]

Отличный ролик. Большое спасибо, что уделили время и сняли полезный материал

[@sergepikovsky3385]

Да, хотелось бы посмотреть, как это будет в связке с Selenium. Для себя увидел как важно создавать наиболее полную копию аутентичных запросов, как это реализовывать вплоть до копирование всех непонятных разделов хэдера и т.д. Надо будет на каком-то левом сайте потренироваться...

[@Сергей-д7с7о]

Автор молодец 👍, можно запилить продолжение для этого ролика - это парсинг html разметки с помощью регулярных выражений, а уже потом при помощи селениум.

[@Lazar_ch]

У меня почему то не отправляются заголовки из dictionary

[@mrrobot1381]

Как-то парсил с помощью Selenium, не удалось прикрутить к нему прокси. если можно расскажите про это.

[@artemz9054]

Спасибо тебе, добрый человек!)

[@hikky9971]

Как раз искал видео посвежее про парсинг на C#. Как обойти весь сайт, собрать все ссылки на товары и обработать?

[@yaroslavmenshikov28]

1. Собрать все ссылки 2. Посмотреть какие бывают артикулы на сайте. Может проще сделать перебор по артикулу.

[@DOTNETMAN]

Круто, спасибо 👍

[@margin_call]

Было бы еще хорошо раскрыть тему парсинга сайта с авторизацией)

[@VonShelest]

Цепляешь пост запрос после авторизации в фидлере и вводишь в свой запрос нужные данные

[@margin_call]

@@VonShelest разобрался с этим пару месяцев назад)

[@antares7350]

сделал Post запрос как по видео, но изменил адрес сайта и название заголовков под себя, и в итоге foreach (var pair in Headers) возникает такая ошибка: System.ArgumentException: "Specified value has invalid HTTP Header characters. Arg_ParamName_Name" Что делать??

[@antares7350]

@shmb Я на неё забил, и на питоне парсер начал изучать

[@vovaproger]

"Парсинг данных с любого сайта.." - а если сайт работает по ГОСТ с поддержкой отечественной криптографии?

[@yaroslavmenshikov28]

мы парсим открытые данные из Интернет. если сайт зашифровать чтобы туда никто не мог зайти, то зачем такой сайт ?

[@testservicesssss]

откровенно плохой код, тут явно не 7 лет опыта в C#, это реально сорри, а контент полезный.

[@ИванИванов-к2ы5с]

может специально для новичков

[@testservicesssss]

@@ИванИванов-к2ы5с чтобы учить новичков писать плохой код?)

[@leeleelka7985]

А можно как то спарсить введеные платежные данные?

[@yaroslavmenshikov28]

Поподробнее пожалуйста. Когда они введены, на каком портале ? Зачем Вам это ? )

[@nikfelus3173]

Здравствуйте. Попробовал данный способ в C#, но увы на 10-ке программа не запускается, а в 7-ке работает. В чём может быть проблема?

[@yaroslavmenshikov28]

Здравствуйте. "программа не запускается" - это аргумент не очень. запустите программу в debug режиме, посмотрите на какой строке кода происходит ошибка. Или оберните код в конструкцию try-catch с выводом в консоль ошибки. У меня был случай как-то, в 2002 году. Человек попросил наладить комп, так как "звук не работает". На месте оказалось, что у него комп совсем не включался из-за механического повреждения... и звук действительно не работал )

[@ИгорьВеретенников-ч3ь]

Почему не используете, например Html Agility Pack? Ну и свойства у вас повторяются, почему бы их не вынести, потом передать в конструкторы? Ну и ответственность за Headers перенести в этот класс. Думаю из майн необходимо все убрать в методы/лассы по ответственности. Это я к тому, что когда код разрастется и если с таким кодом придется кому то работать, или даже самому, через какое то время, то это беда.

[@jandikable]

Почему не на питон или js? Почему именно c#?

[@andrewdemidyuk975]

Потому что на C# таких роликов нету.

[@jandikable]

@Derkes предлагаю сделать обучалку по созданию ботов по алготрейдингу крипты

[@GanovAlex]

вероятно потому, что человек работает с c# и по нему же выпускает обучающие материалы. равносильно что прийдя к стоматологу спросить, почему стоматология, а не сварка или приготовление шаурмы...

[@ASPdeveloper]

Я не понимаю зачем тут вообще пользоваться фидлером и отправлять такие же запросы, которые отправляет сайт. Зачем этим заниматься, когда одним запросом можно просто получить html код этой страницы и обработать этот текст?? зачем делать столько непонятных действий, когда можно их не делать? может мне это кто-то объяснить?

[@yulyalll8588]

Здравствуйте. Хотела переделать программу под себя, но на этапе отправления первого запроса ошибка - в строке HttpWebResponse response = (HttpWebResponse)_request.GetResponse(); стопорит дебаг, через время прыгает в catch. Подскажите, пожалуйста, в чём может быть проблема?