4 жыл бұрын
4 жыл бұрын
4 жыл бұрын
Пікірлер
@ШуаннаДжалилова-к9с Жыл бұрын
А что если токен недействительный и ни как нельзя зайти на аккаунт???
@Parsemachine Жыл бұрын
Если токен недействителен, то его можно только пересоздать. Если у вас и доступа к аккаунту нет, напишите в тех. поддержку, возможно, они помогут.
@Whitepavel Жыл бұрын
Добрый день. data = json.loads(response.text) for block in data: yield { "ID": block["id"], "Name": block["name"], "URL:": block['url'] } if block['childs'] is not None: print("ПОДКАТЕГОРИИ: ++++++++++++++++++++++++++++++++++++++++++++++++++++") for child in block['childs']: yield { "NAMECHILD:": child['name'] } Подскажите, почему ошибка появляется на блоке в котором нет дочерних элементов, ведь указано условие if block['childs'] is not None: Я предполагал что он продолжит выполнять первый цикл дальше, но нет.
@Parsemachine Жыл бұрын
Здравствуйте. Какая именно ошибка появляется?
@batis9347 Жыл бұрын
Пытаюсь создать бота на Питоне, выдает ошибку что Токен не верный, хотя я все верно делаю
@Parsemachine Жыл бұрын
Какую библиотеку используете? Токен получили в чате @botFather?
@zxcontrol 2 жыл бұрын
А как узнать, какие боты принимают токены ботов. Чтобы мой бот присылал то, что мне нужно.
@Parsemachine Жыл бұрын
Что вы имеете в виду? Токен бота нужен для программирования логики его работы, написания программы.
@Vladislavgittys 2 жыл бұрын
Как будет выглядеть программа парсинга с нескольких сайтов? И сравнение товаров, названия которых могут незначительно отличаться
@Parsemachine Жыл бұрын
Пишется несколько парсеров для каждого из источников (сайтов), которые в итоге объединяются в одну программу.
@UCd9e5ky6ICtUdQ 2 жыл бұрын
А можно парсить сразу несколько запросов? Допустим, меня интересуют закупки по запросам "рыб*", " мяс*", "круп*"
@Parsemachine Жыл бұрын
Напишите в Telegram, можем в индивидуальном порядке добавить вам несколько ссылок.
@dodokwak 2 жыл бұрын
Спасибо!
@dodokwak 2 жыл бұрын
Спасибо.
@BeZzzymec 2 жыл бұрын
Хорошее видео. Все наглядно и понятно. Спасибо.
@ИванАбрамов-л5ы 3 жыл бұрын
Крутой бот
@Parsemachine 3 жыл бұрын
Спасибо! Надеюсь, что будет полезен.
@manger1497 3 жыл бұрын
Hi Thanx for your amazing video can you make video about print text that user sent it in pdf with bot telegram? and the bot re-send it to the user?
@Parsemachine 3 жыл бұрын
Hi Thanx for your comment! Yes, I can do this, but I can also help you implement this functionality. Do you have any tries? It is very simple actually.
@manger1497 3 жыл бұрын
@@Parsemachine Hi, I have not tried plz help me 🌷
@autodidactit4492 3 жыл бұрын
Больше бы уроков по scrapy, мощный фреймворк конечно🤯
@Parsemachine 3 жыл бұрын
Может быть есть какие-то конкретные вопросы? Или интересно в целом узнать про данный фреймворк подробнее?
@autodidactit4492 3 жыл бұрын
@@Parsemachine вообще подробнее узнать о фреймворке, возможность парсить динамические сайты где допустим страницы подгружаются через js. Интересно что scrapy сможет предложить на такой случай.
@Parsemachine 3 жыл бұрын
@@autodidactit4492 наперёд скажу, что в таких случаях нужно проанализировать запросы, которыми подгружается содержимое по JS, и выполнять их напрямую. Либо использовать scrapy-selenium или аналог. Это два наиболее очевидных способа.
@autodidactit4492 3 жыл бұрын
Этот канал находка 👍🏻 круто!
@Parsemachine 3 жыл бұрын
Спасибо! Рад, что видео полезны.
@brodyagaPATY 3 жыл бұрын
Было бы четко если бы показал как делал))) или хотя бы код показал)))
@Parsemachine 3 жыл бұрын
Есть идея сделать одно или несколько видео по разработке в режиме реального времени какого-либо простенького инструмента/сервиса. Интересует именно этот сервис или сам процесс разработки?
@brodyagaPATY 3 жыл бұрын
@@Parsemachine да конечно👍👍👍👍супер будет🔥🔥🔥
@_rachenkov_ 3 жыл бұрын
Годнота)))
@Parsemachine 3 жыл бұрын
Спасибо!
@dimashmal1423 3 жыл бұрын
Красиво все продолжай дальше, мне интересно как сделать сравнения цени к примеру есть 2 сайта как делать сравнение цены и показывать где выгодней
@Parsemachine 3 жыл бұрын
Спасибо! Как? - Собирать цены на интересующий ассортимент товаров на обоих сайтах и сопоставлять товары по какому-то признаку. Идеально, если есть какой-то идентификатор, номер товара или что-то подобное, по которому можно однозначно найти один и тот же товар на разных источниках. Если нет, нужно думать, как это сделать. Сравнивать по названию с учетом погрешности или по комбинации других признаков, например по производителю + названию товара + году выпуска и проч.
@dimashmal1423 3 жыл бұрын
@@Parsemachine можна К примару взять товар с техникой ) там и по критериях сравнивать, та тем выводить данные в телеграмм показуя % где на сколько дороже или дешевле
@ДенисСюсин-р1е 3 жыл бұрын
бот молчит ,не говорит номер chat_id
@Parsemachine 3 жыл бұрын
Для того, чтобы узнать chat_id вы можете проделать следующее: 1. Создать чат со своим ботом, к которому имеете token. 2. Отправить сообщение в чат. 3. Выполнить GET-запрос по адресу (открыть в браузере): api.telegram.org/bot<TOKEN>/getUpdates 4. В ответе формата JSON найти chat_id для полученного только что ботом сообщения по пути message -> chat - > id.
@ДенисСюсин-р1е 3 жыл бұрын
Хотелось бы видеуроков про парсинг в телеграм-боте
@Parsemachine 3 жыл бұрын
Денис, что конкретно? Про парсинг чего-либо с отправкой результатов в Telegram-бот? Смотрели видео? kzbin.info/www/bejne/nZvXf5uZnsijnq8
@ДенисСюсин-р1е 3 жыл бұрын
А как спарсить фотки?
@Parsemachine 3 жыл бұрын
Аналогично другим полям спарсить ссылки на изображения, используя подсказку на странице товара - в данном случае это ID=product_img. Если изображения нужны файлами, то, как вариант, можно собрать их отдельным скриптом в несколько потоков, используя полученные ранее URL.
@ДенисСюсин-р1е 3 жыл бұрын
urls, join- почему то сиситема пишет типо это неразрешенные ссылки, хотя все библиотеки добавлены. Можете подсказать в чем тут причина?
@Parsemachine 3 жыл бұрын
Денис, какой точно код? И какая точно ошибка?
@beko9543 3 жыл бұрын
Продолжай снимать 👍
@Parsemachine 3 жыл бұрын
Спасибо!
@Славский-ш4п 3 жыл бұрын
@@Parsemachine я больше люблю с async парсить
@Parsemachine 3 жыл бұрын
Используя какой-то асинхронный фреймворк для парсинга? Или только библиотеку asyncio?
@Pumba053 3 жыл бұрын
Тема - парсинг и анализ цены поставщиков с разных сайтов? Сможете показать?)
@Parsemachine 3 жыл бұрын
Парсинг цен поставщиков (как и любой другой) оптимально делать через API источников либо запрашивать выгрузки в формате XML/XLSX/JSON и др. Для базового анализа вполне достаточно будет библиотек pandas/dask, matplotlib и проч. В целом тут парсинг аналогичен любому другому. Сложность может возникнуть, когда нужно найти один и тот же товар на разных сайтах, а уникального идентификатора нет. А что конкретно вас интересует? Видео с примером реализации такого инструмента?
@Pumba053 3 жыл бұрын
Круто, продолжайте!)
@Parsemachine 3 жыл бұрын
Спасибо!
@MogalSherif 3 жыл бұрын
Спасибо конечно за труды, но вот для кого это видео, о чем оно? Про Scrapy толком ничего не рассказано. Что это, как использовать, какие нюансы? Для новичков ничего не понятно. Для продвинутых это не нужно, они и так знают.
@Parsemachine 3 жыл бұрын
Видео для новичков, которым не хватает пошаговой инструкции по созданию парсера на Scrapy/Python на реальном примере. Где-то что-то получается, что-то не получается, но в итоге самостоятельно не удается написать парсер по разным причинам. А здесь показывается весь процесс написания простого паука на реальном примере от момента создания пустого проекта до сохранения результата парсинга, чтобы каждый мог повторить и проверить, а также задать уточняющие вопросы.
@Parsemachine 3 жыл бұрын
@Георгий Никитин Спасибо за мнение. У вас возникли какие-то конкретные вопросы?
@vladimir7759 4 жыл бұрын
подскажи есть какая нибудь книга по scrapy на русском? или где вы учились? подскажите пожалуйста
@Parsemachine 3 жыл бұрын
Конкретно scrapy изучал по документации и на примерах, а также читал статьи по конкретным вопросам. Начните с малого - создайте пустой проект, а затем попробуйте реализовать парсер по примеру с данного видео. Здесь показан процесс создания парсера с нуля, который легко адаптировать под другой источник с минимальными изменениями. Что касается книг, то посмотрите в сторону рекомендуемых на официальном сайте scrapy: docs.scrapy.org/en/latest/intro/tutorial.html?highlight=books#scrapy-tutorial
@api-nsk 4 жыл бұрын
Игорь, добрый день. Если идти по пути вашего решения и предположить, что на каждой странице набор табличной части характеристик непредсказуем - как быть? Например у меня на каждой странице товара свой набор характеристика-значение так как товарные позиции со своими наборами свойств. Мне как-то нужно расширять набор свойств в заголовках файла и в новый столбик вносить данные. Я пока не пойму как код должен выглядеть в dump_to_xls.
@api-nsk 4 жыл бұрын
Круть! Сам разобрался :-)
@Parsemachine 3 жыл бұрын
Пётр, добрый день. Самый простой вариант - вы можете собирать для каждой записи свой словарь со всеми характеристиками со страницы, а затем во время экспорта в dump_to_xlsx сформировать список с уникальными названиями характеристик. Записать их в заголовки. А затем при заполнении таблицы на соответствующей строке индекс столбца характеристики получать на основе индекса этой самой характеристики в списке с уникальными значениями. Например: [{'techs': {'a': 1, 'b': 2}}, {'techs': {'a': 1, 'c': 3}}] - две записи, по две характеристики. Создаете список названий: names = ['a', 'b', 'c'] Пишите заголовки с помощью write_string. Затем с помощью names.index() получаете относительный индекс характеристики для записи в конкретной строке. Таким образом, у вас будет три колонки с характеристиками, каждая из которых будет заполнена или не заполнена в зависимости от данных в текущей строке.
@Parsemachine 3 жыл бұрын
@@api-nsk Это здорово! Каким образом в итоге сделали?
@vladislavbadovskyi1666 4 жыл бұрын
Мне вот не понятно вообще ничего в функциях, которые вы создаёте((
@Parsemachine 3 жыл бұрын
Какие-то конкретные вопросы? Что не получается?
@vladislavbadovskyi1666 3 жыл бұрын
@@Parsemachine мне не понятно как устроен scrapy в целом, какая инфрастуктура. Повторить ваши действия под свои нужды не мудрено, но хотелось бы понимать что к чему
@Parsemachine 3 жыл бұрын
@@vladislavbadovskyi1666 С документацией ознакамливались? docs.scrapy.org/en/latest/index.html С исходным кодом проекта? github.com/scrapy/scrapy/tree/2.4 Все в открытом доступе и при желании можно разобраться. Если будут конкретные вопросы во время изучения, также можете задавать их здесь. Для себя оставил заметку для следующих видео - рассказать подробнее о структуре проекта на scrapy, возможностях данного фреймворка, преимуществах и недостатках.
@vladislavbadovskyi1666 3 жыл бұрын
@@Parsemachine , пока нет времени на разбор документации, с видео информация усваивается лучше
@vladimir7759 4 жыл бұрын
привет, как новичку научиться писать ботов? есть годные книги или видео?
@Parsemachine 3 жыл бұрын
Привет! Нужно понимать, какие входные данные и цель. Есть ли опыт в программировании? Если да, то какой? Хотите именно обучиться/развить навыки программирования? Или разово сделать бота в личных целях, тогда и конструктор подойдет? Документация по Telegram API хорошая, вся необходимая информация имеется core.telegram.org/bots/api. Также есть библиотеки под многие ЯП. Поэтому если базово программировать умеете, предлагаю попробовать реализовать что-то простое - бот, анкетирующий пользователей, например. Если же нет, то сперва нужно научиться программировать. Также хорошая документация и у Python: docs.python.org/3/, если осваиваете его. Примеры Telegram-ботов можете посмотреть в одной из популярных библиотек aiogram (Python) здесь: github.com/aiogram/aiogram/tree/dev-2.x/examples Вы также можете предложить свои темы для следующих видео по разработке Telegram-ботов, если есть какие-то конкретные вопросы. С книгами главное не забывать практиковаться почаще, поэтому я больше за документацию и практику, хотя книги тоже полезны. Если необходима консультация, можете также обратиться ко мне по контактам на сайте или в описании канала.
@davidvishnevscii9256 4 жыл бұрын
Не в коем случае не критикую) Но на сайте в подменю раздела "Сервисы" (Опечатка - Аргегатор фриланса)
@Parsemachine 3 жыл бұрын
Спасибо за внимательность! Исправил.
@ОльгаБелова-ы8н 4 жыл бұрын
Подскажите а как получить характеристики например на leroymerlin.ru/. Там dt и dd Хотелось чтобы также куча характеристик автоматически добавлялось в json
@Parsemachine 4 жыл бұрын
Здравствуйте, Ольга. Допустим, в rows у вас строки. Используя метод find для поиска одного элемента, проходитесь по каждой из строк и получаете название характеристики из тега <dt>, а значение - из <dd>: prop_name = row.find('dt').text.strip() prop_value = row.find('dd').text.strip()
@ОльгаБелова-ы8н 4 жыл бұрын
@@Parsemachine здравствуйте Игорь . Спасибо за ответ , интересует именно как надо переписать techs[cols[0]] = cols[1]] Так то уже удалось модифицировать код добавив user-agent , proxy , графический интерфейс.
@Parsemachine 4 жыл бұрын
@@ОльгаБелова-ы8н после того, как значения ячеек получены, сохраняете их в словарь techs: techs[prop_name] = prop_value
@ОльгаБелова-ы8н 4 жыл бұрын
@@Parsemachine спасибо большое
@Parsemachine 4 жыл бұрын
Обращайтесь! Также смотрите новое видео по сохранению результатов парсинга в таблицу Excel: kzbin.info/www/bejne/pIPLfoKNjJeBaa8