Пишем Телеграм Бота для Автопостинга новостей с Хабра | Телеграм бот + Парсер

Сегодня мы напишем специального Телеграм Бота, который будет брать новостные посты с сайта Хабр, и постить их в нашем Телеграм канале! В этом ролике мы будем использовать библиотеки: telebot, telebot и beautifulsoup.
Привет! Меня зовут Игорь. На моём канале ты сможешь найти уроки по нейронным сетям, визуализации данных и программированию в целом.
Моя цель - сделать программирование более доступным и понятным. Для просмотра моих видео вам не нужно высшее образование по Computer science. Все непонятные темы и термины я буду понятно объяснять и показывать на примерах.
Оставайся с нами, и чтобы не пропустить ни одного видео - подписывайся на канал и нажимай на колокольчик!
► Ссылки из видео:
Код из видео - github.com/IgorVolochay/Teleg...
✅ Группа VK - bit.ly/VK_PseudoDev
✈️ Telegram канал - t.me/PseudoDeveloper
💲💲 Поддержи проект на Boosty - boosty.to/pseudodev
📖 Плейлист "Программирование на Практике" - • Программирование на пр...
📖 Плейлист “Нейронные Сети на Понятном Языке” - • Нейронные Сети на Поня...
📖 Плейлист "Изучение NumPy" -
• Изучение NumPy

[@dan323609]

Не работает, ошибка

[@user-oy9qk4om1x]

такая же тема

[@PseudoDev]

Dan Danzelov и Антон, да, такая проблема есть. Относительно недавно Habr немного поменял архитектур сайта. Положение всех элементов в HTML коде осталось на месте, но вот название классов и id - изменились. Вам просто нужно, следуя инструкции из видео, поизучать код страницы, и в программу поместить название класса не из видео, а из самого сайта. Надеюсь я доходчиво объяснил, но если будут ещё вопросы - задавайте 😁

[@dan323609]

@@PseudoDev спасибо разберусь )

[@user-oy9qk4om1x]

@@PseudoDev мб я тупой, но не очень понял как кусок с def commands работает и зачем в конце кода идет возврат None и Post id

[@sep_spell4668]

@@PseudoDev Подскажи пж,как сделать парсинг из папки на пк,что бы он по порядку в течении определённого времени сразу картинку по очереди из папки? И желательно из другого канала ещё.

[@dayler3]

Здравствуй, проверил цикл где идет сравнение back_post_id и post_id, вроде бы все должно работать, но даже если у них id одинаковые он снова шлёт тот же пост, можно ли как то исправить?

[@RYAN-ev9ev]

Здорово, какую функцию нужно использовать чтобы например отправить ссылку картинки из инстаграм, а он скачивает и отправляет в чат🤔

[@yuobbhu7217]

Привет сколько будет стоить сделать грабер постов готовый чтоб в настройках менять только сайт. Я просто не шарю во всем этом пытался разобраться запутался

[@dmzdmz7013]

Подскажите пожалуйста, а как можно открыть ссылку в боте от пользователя автоматически. Спасибо

[@1isishka]

Не подскажите как исправить ошибку "'NoneType' object has no attribute 'text'"? элементы разметки на актуальные я поменяла

[@greykoff3325]

Здраствуйте есть ошибка в коде при выполнении парсера, можете помочь разобраться. ProtocolError: ('Connection aborted.', ConnectionResetError(10054, 'Удаленный хост принудительно разорвал существующее подключение', None, 10054, None)) Это в какую сторону нужно копать сейчас Вы писали что на хабре изменили структуру html кода. Теперь что делать можно могли бы подсказать если будет время.

[@user-cb9fx3gv7d]

Привет, а можешь сделать видео по хостингу бота ?

[@user-iy3yo2wt1n]

👍👍👍👍

[@fruitjam8838]

Можешь подсказать какое в данный момент название класса и id на Habr? не могу разобраться, что вписывать в код (после изменения архитектуры).

[@Whosheit]

Выведи весь код страницы в терминал Там найди нужный тебе текст и вытащи от туда див класс айди, у меня не воркало с просмотром кода страницы, а вот как описал тебе, заработало

[@moneyy-time]

Не работает. Когда что то пишу в боте, пост не отправляется в канал. Хотя все сделал точ точ как в видосе

[@ssshhhhhiiiizzzzaaa]

Я немного не понял, как код связать с ботом?

[@piratsyberyjski3644]

Привет, использовал твой код, но для другого сайта. Проблема такая, бот все равно отправляет одно и тоже сообщение по нескольку раз. К тому же, не знаю с чем связанно если написать боту Старт - два раза подряд, он запостит 2 одинаковые новости, но если написать старт еще один раз он перестает реагировать, даже если ему писать рэндомные слова, он не выводит текст "Я тебя не понимаю. Напиши Старт".

[@resttime00]

Ребята куда писать и сохранить ето код?

[@user-tv9cq3ch1x]

Красава

[@bananeah]

Текст не пересылается когда пишешь боту,с чем это связано? Бот у меня администратор,всё ввёл правильно,что не так?

[@tttttt4260]

Если у тебя Пайтон 3.10 >, то могут быть проблемы. Я поставил 3.9, всё наладилось

[@artyr2944]

привет,вот если мне нужно будет несколько ссылок парсить (тз такое же как и действия в твоем видео) но нужно парсить несколько ссылок,как мне нужно это организовать ? просто создать функцию где будет собираться данные как на примере с видео (url,description,title). но если я буду везде одинаковые название переменных писать, то код же может не работать или я не прав? пожалуйста кто в теме,просветите пожалуйста

[@PseudoDev]

Привет. Смотри, если ты будешь работать с одним и тем же сайтом (допустим KZbin), то ты можешь организовать функцию-парсер, которая будет принимать в качестве аргумента URL нужного видео, а на выходе, через "return" будет возвращаться список следующего вида: [title, description, url]. Таким образом тебе не придётся создавать большое количество отдельных переменных для разных парсеров

[@user-gh2ml3cf5o]

Можно такой вопрос: Telegram боты создаются только через язык программирования Python или можно для этих целей использовать другие языки программирования? Почему на ваш взгляд так много видео создания Telegram ботов именно с помощью языка Python?

[@PseudoDev]

Можно писать ботов на любом языке программирования, хоть на ассемблере. На Python это делать просто удобнее всего, но, насколько я знаю, есть ещё удобные API для языков: C++, C#, Java и JavaScript

[@user-gh2ml3cf5o]

@@PseudoDev спасибо за ответ 👍

[@buddyconcert1918]

Какое познавательное видео! Спасибо! Интересно, возможно ли написать бота и насколько это сложно, чтобы он автоматически предлагал запись в группе ВКонтакте загружая туда фото/видео/текст из определенных Инстаграм-аккаунтов в реальном времени?

[@user-yv8wu1jn4l]

немношко сложно но возможно

[@user-zi6dv4ex3d]

Существуют какие-либо ограничения? Могут ли забанить IP-адрес за слишком частое обращение к сайту?

[@RandomJel]

используй прокси у теня такойже случай был получается так что хабр видит подозрительную активность с твое домена изза частых запросов (ты какбудто дудосишь сайт)

[@samadovmalik]

А с других каналов в телеге !?)

[@Krasnovosti-ru]

Я сам программист, но Delphi, PHP. Одно не пойму, пайтон интерпритируемый? То куда совать код?

[@PseudoDev]

Python - интерпретируемый язык. Код подается на вход в интерпретатор. Стандартный и самый базовый интерпретатор Python можно скачать на официальном сайте языка - www.python.org/downloads/

[@Krasnovosti-ru]

@@PseudoDev Благодарю за ответ. Но видео не полноценное: Т.е. вы показали a=2 и b=3, потом print (a+b); В браузере показали "5". Но то, что нужно для этого ещё и поднять web-сервер с движком PHP, создать домен, засунуть файл в определённую директорию + обозвать файл index-ным, вы этот процесс пропустили. Код любой дурак с вашего видео перенаберёт в любом блокнотике. Но хотелось бы видеть реализацию под ключ, если вы уж сказали "А", говорите и "Б". Я лично заинтересован в создании бота парсера и ваше видео уже что-то дает. Но вот беда - не полностью.

[@barinbigcitymadridnight1585]

Подскажите, пожалуйста, а сам код то куда нужно вставлять? Я как то этот момент упустил

[@PseudoDev]

Не понимаю о чём вы

[@user-dw6hh2nu5d]

@@PseudoDev человек не понял как код вообще запускается, написать то написал, а как код запустить и где

[@Krasnovosti-ru]

@@user-dw6hh2nu5dАвтор видать сам видео передёрнул, не знает о чём речь.

[@Earth-house]

Голова задымилась)

[@user-bp1tf1py9u]

вау

[@waspe916]

получается, если за 30 минут ожидания бота опубликуется несколько статей, то бот пришлет только последнюю

[@waspe916]

поэтому нужно сверять, как минимум, 3 последних

[@vitaliykrymskiy4303]

Ребзя, чтобы код бота работал, он должен быть одним из админов канала... У меня по другому не работало.. Вдруг кому то поможет)

[@sokolov_channel2035]

У тебя получилось исправить class и id?Можешь прислать код, у меня не получается. Спасибо

[@danielgeller7629]

@@sokolov_channel2035 привет, у тебя всё в итоге заработало?

[@Skwart7]

Что делать если бот отправляет только первую букву заголовка и нет никакой ошибки?

[@PseudoDev]

Возможно ты при парсинге или постинге заголовка случайно поставил нулевой индекс: [0] Пробегись по коду, может ты где-то недосмотрел

[@MrBooomsik]

Добрый день, а возможно вакансии спарсить с этого сайта?

[@PseudoDev]

Да, вполне реализуемо

[@Krasnovosti-ru]

Всё что видите и даже не видите, но видите в дебагере, всё можно парсить. Парсинг это прежде всего чтение всего того, что должно уйти на веб-клиента в браузер.

[@coderblog4485]

Не работала 🤔

[@klaymov]

Привет, сделал всё по твоему ролику, всё работает! Но, работает если только написать боту "старт", как сделать что бы не пришлось ничего писать боту?

[@PseudoDev]

Тогда нужно убрать условие запуска по тексту "страт", и сразу перейти к bot.send_massege()

[@klaymov]

@@PseudoDev и как мне это сделать? если я убираю условие то бот вообще ничего не постит в канал.

[@axelfoleystyle]

Вопрос открыт. Как связаться с автором этого канала? Как сделать бота, который будет: принимать, пересылать сообщения на канал? При этом, с возможностью бана избранных пользователей, которые присылают сообщения бо́ту.

[@PseudoDev]

Да нет, вопрос полностью закрыт) Цель видео была в парсинге новостного сайта, и автоматической публикации в телеграм канале. Все что вы написали - никак не связано с видео

[@Earth-house]

Я сегодня сам попробую. Если не получится плачу деньги за бота который привязан к определенному сайту))))

[@user-to9zd2tr2o]

видео познавательное, но на начальном этапе error 403 для пересылки сообщений

[@vitaliykrymskiy4303]

чтобы код бота работал, он должен быть одним из админов канала... У меня по другому не работало.. Вдруг поможет)

[@AnnaBulanova]

А что за редактор кода? Можно название?

[@PseudoDev]

Да, конечно. Я использую Visual Studio Code

[@Krasnovosti-ru]

@@PseudoDevКод куда совать после написания?

[@JVSd-SG]

А как сделать чтобы он каждое утро м вечер в определённое время собирал и отправлял?

[@PseudoDev]

Можно убрать циклы, чтобы оставался код чисто парсера и бота-отправителя, и запускать этот скрипт. В Виндоус есть специальный раздел системных вызовов, которые срабатывают в определенное время. Точно не помню как называется, но в Гугле легко найти

[@JVSd-SG]

@@PseudoDev cron?

[@PseudoDev]

Да, что-то типа того

[@TheDimonchiks]

А можно сделать чтобы бот постил новости из группы вк?

[@PseudoDev]

Да, можно. Главное подстроить парсер под архитектуру ВК, и всё будет ок 👌

[@Whosheit]

как раз сижу делаю азаза

[@hooligan8]

Привет! Текст понятно, а как картинку переслать?

[@PseudoDev]

Ну так, картинка - это тот же текст. С помощью open() переносим картинку в оперативную память. Там она хранится в форме последовательности бит, а их можно легко отобразить в виде текста и отослать. myfile = open(image, 'rb') bytes = myfile.read()

[@hooligan8]

@@PseudoDev это прикол 🤣

[@PseudoDev]

@@hooligan8 забайтил получается))

[@hooligan8]

@@PseudoDev получается

[@MaxmasMontage]

Можно новости с яндекса также делать?

[@PseudoDev]

Можно, главное перенастроить работу парсера на архитектуру Яндекса

[@MaxmasMontage]

@@PseudoDev там просто нету айдишников вообще, там новости никак не пронумерованы в html

[@PseudoDev]

А. Да, такое бывает. Это означает, что почти вся архитектура построена на JS(

[@vitaliishpychka9243]

Можешь подготовить курс по PHP?

[@PseudoDev]

Сори, не пишу на PHP 💁‍♂

[@Krasnovosti-ru]

Курс могу организовать - уровень back-end разработчик и FULL-stack разработчик (уровень профессиональности - middle). Но его люди не хотят покупать. Все хотят сами - бесплатно. 9 000 брал на Авито, ни один не захотел. А учиться в ВУЗе 300 000 - 500 000 р + много левой информации о истории России, Рюрика и уроки философии... Выбор всегда за нами.

[@Kvant_Jack]

Пытаюсь запилить бота, который определенные слова на определённом сайте пишет. Тхт файл открыл, измеряю, но вот вопрос: куда-то в а BotFather вставить текст надо или же как использовать данный код? Сорян за нубство, но всё же.

[@user-dh5gu9yk4d]

Не работает

[@user-cz1ti4vj9m]

Подскажите пожалуйста, нужен бот. который логинится на сайт, проверяет не изменилась ли страница и если изменилась -высылает сообщение в телеграм нужным пользователям. Спасибо!

[@nikitaermolenko7813]

Попытался спарсить Яндекс Дзен ( реальная задача стояла ), нихера, там защита от этой библиотеки, пробую Silenium..

[@PseudoDev]

Некоторые большие сервисы предоставляют собственные API для парсинга информации. Надо глянуть, может у Дзена тоже есть что-то такое 🤔

[@nikitaermolenko7813]

@@PseudoDev я хотел парсить статьи из Дзен канала в канал телеграмма, интересно, как это сделать? Я нашел ролик по selenium, но там проблемка, браузер открывается каждый раз при парсинге

[@evgenianovikova3596]

Еще не пробовала написать аналогичный бот (попозже попробую), но спасибо за видео а то да, все эти гайды для дебилов...

[@hushpc]

Привет! При запуске исправленного кода (с новыми классами) вылезает ошибка "TypeError: 'NoneType' object is not subscriptable" ссылающаяся на строку "back_post_id = post_text[1]". Происходит это из за того что эта переменная ссылается на переменную(back_post_id = None), равную null или же None. Что ставить вместо значения None?

[@user-nd6rm7kb3p]

Как сделать тоже самое для вк? Ответьте пожалуйста

[@PseudoDev]

Используй VK Api

[@user-nd6rm7kb3p]

@@PseudoDev а как

[@PseudoDev]

@@user-nd6rm7kb3p по назначению 😁

[@nikita.134]

Если ссылку на хозяина поста не оставлять,он может сделать так чтобы меня забанили?

[@bgds5848]

Ошибка

[@pandasstero1123]

Этого бота можно закинуть в беседу?

[@PseudoDev]

В теории - да, это вполне реализуемо

[@pandasstero1123]

@@PseudoDev И ещё , что делать если выдаёт эту ошибку? Traceback (most recent call last): File "C:\Users\shugu\Desktop\Telegram-Parser-Bot-main\Parser.py", line 10, in title= post.find("a", class_="newsitem__title-inner").text.strip() AttributeError: 'NoneType' object has no attribute 'find'

[@pandasstero1123]

​@@PseudoDev Я просто создаю бота для парсинга новостной ленты майл , но не знаю что нужно удалить из твоего кода файла Bot.py , чтобы бот отправлял без проверки на айди , а просто каждые 20 минут , как это сделать? Помоги пожалуйста! Поддержал кстати твой канал)

[@PseudoDev]

​@@pandasstero1123 Я не уверен в чём конкретно проблема. Нужно посмотреть в логи при DeBag-е (конкретно нужно посмотреть на значение переменной "post"). Скорее всего в строке (post = soup.find("li", class_="content-list__item content-list__item_post shortcuts_item", id=True)) программа просто не может обнаружить элемент на сейте, тем самым, в переменную "post" передаётся значение "None". Я могу и ошибаться, но нужно сделай дебаг

[@PseudoDev]

@PANDASSTER O 5:06 вроде как, этот код работает без привязки к id. Ну а промежуток в 20 минут, можно сделать так же, как и тут (5:34), тут особой магии никакой нет. Кста, спасибо за поддержку 😇

[@Massage_Bigdan]

хрень лютейшая . очень бычтрый ролик и не какого айди нетуууууууууу

[@iyyy890]

post = soup.find("article", class_="tm-articles-list__item", id=True) если у вас ошибка с пост id

[@Digital_Rin]

Здравствуйте, на какую строку нужно вписать эту команду?

[@user-xr7qu3ji9h]

че только не меня ни че не помогает

[@bgds5848]

Ошибка Traceback (most recent call last): File "не палю папку", line 7, in @bot.message_handlers(content_types=["text"]) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ TypeError: 'list' object is not callable

[@danilsharafutdinov5769]

Почему возникает такая ошибка: @bot.message_handler(content_types=['text']) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ TypeError: 'NoneType' object is not callable Process finished with exit code 1