Как парсить любой сайт в make.com

[@airlow6784]

"После вашей передачи, пришло еще больше писем с вопросами, с одной стороны всё понятно, с другой - не совсем " ))))

[@maratnews]

Спасибо за видео, полезная информация!

[@ai-iiru]

@@maratnews Во благо!

[@cryptodatex]

Как мне повезло с вашим каналом!!! Здоровья и всяческих успехов вам!

[@ai-iiru]

@@cryptodatex Во благо!

[@dlyabani]

​@@ai-iiru Приветсвую. а как спарсить статью целиком с картинками? Тут я так понял в ниндзяскрапере можно парсить только заголовки и описание мета. Если будет время добавьте подобный контент в видео. Спасибо

[@AndriiMatvienko-uo4kg]

какой код был в поле Extractor?

[@DianaScorpio777]

Столько всего интересного и полезного.Хорошо ,что Я подписалась .Спасибо .

[@АлександрТрапезников-ю8д]

классный инструмент - даже не знал о таком

[@likanella]

Боже мой! Гениально, именно это я для своего проекта и искала. Подскажите это платно, если да сколько стоит. Все парсеры морально устарели, а это то что доктор прописал! Искала две недели подобный механизм и когда опустила руки на вас наткнулась, это знак, что нужно продолжать проект.😊

[@ai-iiru]

Вы сделали мой день! Это же не сарказм, не? Можете на емайл ваши требования прислать, а дальше что смогу - сделаю. Стоимость опять-таки от сложности зависит

[@VadNomad]

много информации не показано. куда, что пишем.

[@olkam4803]

Подскажите, пожалуйста, как вы подключили scrapeNinja у меня нет всех этих полей, только возможность подключить через RapidAPI Key scrapeNinja выбрала бесплатный план, но где найти key вообще не понятно.

[@ai-iiru]

У меня тоже бесплатный план, это на подключение не влияет. Регистрируйтесь в rapidapi, при подключении scrapeninja вводите в поля 'x-rapidapi-host' и 'x-rapidapi-key'; в make после connection вводите URL сайта и т.д. На каком этапе застряли?

[@olkam4803]

@@ai-iiru спасибо, но все равно ошибка. В rapidapi зарегистрировалась. В make добавляю ScrapeNinja- предлагает только создать подключение, а там только 2 поля: имя соединения и RapidAPI key

[@ai-iiru]

Куда вам скинуть скрины? Тест мне на емайл отправьте, пожалуйста

[@ai-iiru]

Для вас загрузил видео про соединение ScrapeNinja, гляньте

[@kasym2915]

api ключ как найти сайта от меня требует

[@ai-iiru]

@@kasym2915 какого сайта?

[@allremont59]

Добрый день! Можно ли спарсить канал на дзене?

[@ai-iiru]

@@allremont59 Здравствуйте! Текст можно

[@vsgnezdilov]

Привет, как парсить не только текст, но и картинки с сайта?

[@ai-iiru]

@@vsgnezdilov Привет, картинки из кода страницы можно вытаскивать через регулярные выражения (regex)

[@malmauer]

мне надо на одном сайте сделать поиск, но поиск с рекапчей гугл, как в make заполнить поле для поиска и пройти рекапчу?

[@ai-iiru]

через make не получится, тут нужен скрипт, и то не факт, что пройдет

[@ИванИванов-ы7л6у]

Эээхх, мне все это надо было в 2017......

[@alexandermalinin7411]

тоже не получается подключиться к rapidAPI:( зарегился там, вроде как нашел, где брать API, но при добавлении ключа make пишет ошибка 403 и да, присоединяюсь к вопросу ранее, если с помощью этого scrape ninja можно спарсить только заголовок и метаданные, а не всю страницу целиком, то в моем случае это будет бесполезно:( заранее спасибо за ответ

[@ai-iiru]

@@alexandermalinin7411 В другом сценарии собираю только текст (статью) со страницы. Что собирать зависит от скрипта, который Вы задаёте в теле модуля

[@evtorg464]

Второй способ отличный, все понятно. С первым вопросы про запросы этого скреперниндзи, не понятно как они делаются.

[@ai-iiru]

скреперниндзи? или вы про ScrapingBee?

[@MultiVaper]

Ого, вот это мощно! Спасибо за понятные объяснения. Правда начало видео "болтается"

[@ai-iiru]

да, есть такое, сам увидел на монтаже, не стал переснимать, сорян

[@СергейПетров-ы9р2б]

Здравствуйте! А авито можно?

[@ai-iiru]

@@СергейПетров-ы9р2б Что на авито нужно?

[@sergstrue362]

круто. а парсить после авторизации сможете, то есть зайти в с аккаунт и там систематически парсить ?

[@ai-iiru]

@@sergstrue362 Не, всякие капчи-логин-пароли не могём

[@РусланКолач]

Не могу настроить Google таблицы. Сам блок работает а доступа к информации пишет " Информация зашифрована у вас нет доступа к информации". В самой программе таблицы я доступ открыл, таблицу составил, блок её находит и считывает но она зашифрована и я не могу её посмотреть. Вам спасибо! Много нужной и полезной информации. Может подскажете где моя ошибка?

[@ai-iiru]

А Вы не проболи созадть новую таблицу и её привязать? А так я не могу по описанию сказать, в чём там проблема, извините. И во благо!

[@Minataraaa]

Яндекс маркет можно спарсить?

[@ai-iiru]

зависит от данных, как много и часто нужны - чтоб стоимость была адекватной результатам.

[@Pavlina-xp4oh]

Пыталась повторить, затык с регулярными выражениями, как в видео не получилось

[@ai-iiru]

@@Pavlina-xp4oh Вы можете выражения подбирать на regex101.com

[@GRWmember]

Все вот эти Ваши пропуски объяснений, типа у меня тут зарегистрировано, сами разберётесь приводят к тому что разобраться с Ниньдзей не получается и дальше всё застопорилось на втором модуле.

[@ai-iiru]

Благодарю, учту в следующих видео, не намеренно.

[@ai-iiru]

Для вас загрузил видео про соединение ScrapeNinja, гляньте

[@ЛеонидГузеев-и7я]

Можно ли так работать с озон? Пробую он постоянно возвращает ошибку. Может с ним есть какие-то отдельные хитрости настройки?)

[@ai-iiru]

У меня нет опыта парсинга с озон, не могу сказать, к сожалению

[@MazurUA]

kzbin.info/www/bejne/i564n5WibJqKbacsi=ALpD91NlCB8XMhJ5

[@staftour]

А как парсить текст?

[@ai-iiru]

С сайта? Или откуда?

[@staftour]

@@ai-iiru ну конечно с сайта.

[@sergeyperevozchik3733]

Записать на таблицу.

[@sdv75]

Сделаю тоже самое на Python в 5 раз быстрее. Добавлю любые ваши хотелки.

[@ai-iiru]

@@sdv75 Благодарю за отклик! Могу Вам написать в ТГ?

[@sdv75]

@@ai-iiru zula_zulovich

[@sdv75]

​@@ai-iiruzula_zulovich

[@sdv75]

@@ai-iiru Пишите @zula_zulovich

[@sdv75]

Пишите zula_zulovich

[@shap3lessplay654]

Ильяс, добрый день! ПРедлагаю записать урок, где входящие новости с РСС канала проверяются через наличие новостей в конкретном ТГ канале. Если текст уникален на 75% - публиковать статью, в противном случае ничего не публиковать

[@ai-iiru]

@@shap3lessplay654 Благодарю за идею! между прочим, об этом просят и реальные заказчики, похоже, актуально.

[@Леонид-с5з]

1:10 2:53 3:06 7:10

[@ArtemLarin666]

Любой сайт так парсить не получится, не вводите людей в заблуждение. Большинство крупных сайтов имеют защиту от такого парсинга.

[@SV-13]

И лягушкой не получится?

[@Estes74]

Согласен, например паркинг букмекерских контор не даст.

[@Funnyaishortsworld]

Парсинг сайтов на данный момент это прямой путь к тому, что ваш сайт выкинут из поиска.

[@ai-iiru]

@@Funnyaishortsworld Немного не понял - как сайт, который парсим и другой сайт соединены? И как может сбор информации с сайта влиять на другой сайт? Можете пояснить? Может, я чего-то не знаю, что обязан знать в этих случаях?

[@Funnyaishortsworld]

@@ai-iiru дело было так. У меня был неплохой по посещаемости сайт про домашних животных. Статьи были уникальные, сайт хорошо ранжировался. И вот я решил подразбавить его спаренными с другого сайта статьями. Мало того, я не просто парсил, я ещё и прогонял текст через чат gpt. Через пару месяцев сайт полностью вылетел из поиска Яндекса за не уникальный контент. Я спешно удалил все спарсенные статьи, но увы, сайт так и не попал в поиск.

[@ТоббиМагиев]

Поработайте с дикцией, слушать очень сложно

[@seo38com]

А как ютуб парсить?

[@ai-iiru]

@@seo38com Что Вы хотите собрать?