Скрейпинг сайтов с помощью библиотеки Scrapy

[@istories_workshop]

❗❗❗Так называемое Министерство юстиции РФ признало «Важные истории» «нежелательной организацией». Так что репост этого и любого другого нашего видео может караться штрафом, а повторный репост - уголовным делом. Но никто не может запретить вам смотреть и думать. Поэтому подписывайтесь на наш канал, просите подписаться своих друзей и оставайтесь с нами - в это темное время выжить мы сможем только вместе.

[@TheJonvish]

Здравствуйте. Можно ссылку на тот материал из за которого вас признали «нежелательной организацией»?

[@whosane9923]

Что значит "так называемое"? Вы клоуны если являетесь иноагентами , говорите об этом и всё. А сказки про уголовные дела за репост, это вы бабушке своей рассказывай 😂

[@Amigun_yo]

"yield - это ключевое слово в scrapy, которое позволяет выполнить разные действия" - это, конечно, мощно

[@antont5229]

Тоже резануло ухо от этой фразы )))

[@gutis_g]

women @@antont5229

[@den-rad]

Никогда бы не подумал, что исчерпывающую информацию по python библиотеке я получу на ютюб канале СМИ, которое признано инагентом :) Удачи вам!

[@MrFerting]

Хочу отметить, что подача материала очень легкая. Несомненный плюс, что вы обучаете предметно. Материал запоминается проще и есть желание искать доп. информацию самостоятельно. Молодцы, что тут сказать. Видно, что любите свою работу и делитесь знаниями бесплатно.

[@istories_workshop]

Спасибо! ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@nurlansalkinbayev3890]

Здравствуйте. Спасибо вам за работу и видео. Очень подробное объяснение, такое редко встретишь на KZbin. Ещё раз спасибо.

[@lostinchineseroom]

вы большие молодцы, что ведёте эти серии. прям совсем молодцы

[@alexeytsar]

Ура! следующая серия

[@oldlipton3443]

Спасибо за паука🕷️, и с возвращением!

[@slavpetrovich32]

Цена этому уроку "yield - ключевое слово в скрэппи". Думайте

[@herman_guilliman]

на этом моменте человек которому заплатили за написание урока решил схалтурить, а я заорал как резаный

[@Crwbsko]

Очень хорошая подача, всё наглядно и понятно

[@Did_You_Know_DE]

Спасибо

[@РусланКурбанов-о4н]

Спасибо, очень доступно и понятно, так держать!!!!

[@istories_workshop]

Спасибо!) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@isagidaiki]

Огромное спасибо!!!

[@talgatmustafin5236]

Здравствуйте! Можно ли Scrapy использовать в Jupiter notebook? Пытаюсь найти ответ в интернете, безрезультатно.

[@aleksey2408]

Спасибо большое за весь ваш материал на KZbin !!!

[@istories_workshop]

Спасибо, что смотрите) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@vladimirantonov4506]

Можно просто scrapy shell "" - минуя fetch... Хорошее видео!

[@Rinova638]

Со 2 раза все понял , спасибо Вам )))

[@akim7130]

Пробую отправить response, но в ответ приходит пустой список, пробовал и за id зацепиться и пробелы заменил на точки - не выходит. Сайт не динамический. В чем можем быть проблема?

[@talgatmustafin5236]

Здравствуйте! Что за ошибка raise KeyError(f"Spider not found: {spider_name}")?

[@genylivnev7822]

День добрый! На 8:40, вы показываете название класса, которое нужно вставить в response, что бы найти ссылку, а когда проверяете в scrapy shell название класса совсем другое, это как? По названию видно, что наверное вы тянули ссылку на изображение

[@p_r_o_e_k_t_o_r]

Любимый писатель Пелевин.

[@ДжонСмит-ч5ь]

На винде не выделяется цветом ответ и запрос, в терминале, у меня выбор cmd/ps1 только а там Python

[@ДжонСмит-ч5ь]

Разобрался, нужно было добавить цвета в settings.json "workbench.colorCustomizations": { "terminal.background":"#000000", "terminal.foreground":"#D0D0D0", "terminalCursor.background":"#D0D0D0", "terminalCursor.foreground":"#D0D0D0", "terminal.ansiBlack":"#000000", "terminal.ansiBlue":"#0066FF", "terminal.ansiBrightBlack":"#808080", "terminal.ansiBrightBlue":"#0066FF", "terminal.ansiBrightCyan":"#00FFFF", "terminal.ansiBrightGreen":"#33FF00", "terminal.ansiBrightMagenta":"#CC00FF", "terminal.ansiBrightRed":"#FF0000", "terminal.ansiBrightWhite":"#FFFFFF", "terminal.ansiBrightYellow":"#FF0099", "terminal.ansiCyan":"#00FFFF", "terminal.ansiGreen":"#33FF00", "terminal.ansiMagenta":"#CC00FF", "terminal.ansiRed":"#FF0000", "terminal.ansiWhite":"#D0D0D0", "terminal.ansiYellow":"#FF0099" }

[@xe34__47]

сидят как-то 2 паука в джакузи

[@markhavidzer7249]

Разве в приведенном примере кода мы не соберём первую страницу раздела дважды?

[@ИгорюшаЗелёнкин]

У меня после запуска паука, такая вот краказябра в логах: ignoring response 520 http status code is not handled or not allowed. В итоге файл создаётся, но он пустой(

[@Леонид-ш6я]

меня просто это убивает, с помощью питона вы сможете парсить всё что захотите, а что блять мне делать если у меня не двести

[@SleepMashine]

Хорош ваш ужвак)

[@ДмитрийДмитриев-м1ф]

Розамунд Пайк не ваша сестра случайно?

[@ДеньгизаПользу]

капец. Без знания основ синтаксиса, напоровшись на значение класса написанное с пробелом, можно всю схему завалить. Чуть башка не лопнула, пока пытался догадаться, как выкрутиться или в чём ошибся.. И о чудо.. этот моментик, решён в следующем ролике. Скрапи-2. Ваще жесть. Сколько ещё таких подножек я поймаю в будущем )))

[@Denmark1150]

Прикольно

[@СергейИванов-с1в3ч]

Можете подсказать как не нарваться на капчу или обойти её?

[@ArtyomSmirnov-ds1gp]

Отличное видео! Отвратительная статья! Где код вставлен скриншотами

[@constantine_rolls]

Вижу штамп порядочной организации, ставлю лайк❤

[@neivanitsa7913]

Аааа! Нельзя же мышкой файлы создавать!!!! Ааааа!! Вас настигнет кара божья!!! Нужно срочно переписать видео с touch Господи помилуй! Господи прости!

[@Мерзавцы]

Вы из-за лого python не желательная организация, у нас теперь же все сочетания голубого и жёлтого теперь под запретом))) Это подсказка как удалиться из этого реестра.

[@istories_workshop]

Поверьте, такой лайфхак не сработает))

[@vladtroshin421]

А как скрапить данные со страниц с Ajax, которые бесконечно прокручиваются вниз ?

[@istories_workshop]

Об этом можно почитать в документации библиотеки Selenium, но возможно мы сделаем об этом отдельный урок :) ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@daddy_eddy]

@@istories_workshop Я думаю огромноеколичество народа посмотрит такое видео. А еще бы про шаблоны Scrapy расскажите плиз.

[@user---------]

Вы бы хоть сказали между делом про прокси, лимиты и тп. А то новичок запустит ваш паук и сразу получит бан от сайта (почти любого). Хоть задержку между запросами поставили бы что-ли, ну как-то совсем дилетантский подход у вас. В 99% случаев вашего паука забанят после пары десятков-сотен запросов

[@ValorantBaku]

что делать если получаю 403

[@return_1101]

Паук кажется эффективнее.

[@istories_workshop]

Зависит от задач. И от того, кому с чем удобнее работать

[@AnnaIsHere]

Музыка почти такая же громкая, как речь. Из-за этого сложно слушать

[@spyphyfarnsworth6050]

Почему Скрейпинг? Вы же не говорить "скрейпи"

[@Raspi8]

Может не Control, а Command?

[@ИгнатМирзализадэ]

Еще скажи, что клавиатура без клавиши delete пригодна для написания кода )))

[@istories_workshop]

Если у вас Мак, то command ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@ggus0569]

@@ИгнатМирзализадэ еще скажи что ты не знал, что с фн-ом бэкспейс становится делитом...

[@ГеоргийПанков-ь7д]

а к вам можно на работу попасть?

[@dd-pe5dp]

с 9 минуты тяжело понять

[@istories_workshop]

Здравствуйте! Попробуйте задать вопрос более детально в нашем чате: t.me/istories_helloworld ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА

[@Сергей-ъ9ь5р]

костыльная и не удобная бандура

[@norman5324]

А чем по вашему удобно парсить динамические сайты?

[@uvencosuper3471]

Тут вообще началось "как нарисовать сову" )

[@istories_workshop]

🤔🤔 ДАННОЕ СООБЩЕНИЕ (МАТЕРИАЛ) СОЗДАНО И (ИЛИ) РАСПРОСТРАНЕНО ИНОСТРАННЫМ СРЕДСТВОМ МАССОВОЙ ИНФОРМАЦИИ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА, И (ИЛИ) РОССИЙСКИМ ЮРИДИЧЕСКИМ ЛИЦОМ, ВЫПОЛНЯЮЩИМ ФУНКЦИИ ИНОСТРАННОГО АГЕНТА