№388 - ПАРСИНГ сайтов, 40+ советов для ЗАРАБОТКА на парсинге в России. Делимся опытом.

  Рет қаралды 36,806

РУССКИЙ ИТ-БИЗНЕС

РУССКИЙ ИТ-БИЗНЕС

Күн бұрын

Пікірлер
@MelnikovDmitriy
@MelnikovDmitriy Жыл бұрын
Очень интересные мысли. Сегодня ваш канал в рекомендациях появился и я подзалип на канале. Очень полезно. :) Периодически тоже заказы на парсинг приходят, сталкивался с частью проблем, озвученных в видео. Но и нового для себя тоже взял. Спасибо за ваш труд по созданию полезного контента. Очень крутой канал. :)
@MaximKulgin
@MaximKulgin Жыл бұрын
Спасибо 🙏
@kamaduuu
@kamaduuu 5 ай бұрын
Здравствуйте! Подскажите пожалуйста, в Авито недвижимость для поиска квартиры в определенном метро или районе можно сделать парсинг? К примеру ищу квартиру на ВДНХ в Москве от собственника и соответственно хочу, чтобы после публикации такого объявления на Авито, оно падало мне в телеграмм
@intrigant_huev
@intrigant_huev 4 ай бұрын
​@@kamaduuu в телеграм канале есть чат, он там есть
@yuriyroskoshinsky9394
@yuriyroskoshinsky9394 9 ай бұрын
лучший бложик по айти за последнее время, который я видел) спасибо)
@MaximKulgin
@MaximKulgin 9 ай бұрын
спасибо
@WellDone978
@WellDone978 Жыл бұрын
Вот что мне нравится, так это то, что в этом видео показано, как делать бизнес чисто на айти тематике. Никакого rocket science тут нет и в помине, идея бизнеса лежит на поверхности. Любой программист ещё в юные годы пытался что-то парить. А тут ребята сделали из этого достаточно доходный и стабильный бизнес. И рассказывают все нюансы. Респект за это.
@MaximKulgin
@MaximKulgin Жыл бұрын
Спасибо
@borisnik3093
@borisnik3093 10 ай бұрын
спасибо за информацию! делаем агрегаторы с использованием парсинга - отлично идет! делаем сами, изучаем, развиваем свою экспертизу - на этом и работаем. Видео полезно. Благодарю!
@MaximKulgin
@MaximKulgin 10 ай бұрын
Удачи 👍
@АлександрБухтояров-ф9м
@АлександрБухтояров-ф9м Жыл бұрын
Большое спасибо за информацию. Делаю первые шаги в мире парсинга. Было очень интересно!
@GiuseppaFrankenfield
@GiuseppaFrankenfield Жыл бұрын
Спасибо тебе за видосы. У меня сейчас тяжеловое время в жизни, но они реально помогают!)
@Antoine_de_Saint_Exupéry
@Antoine_de_Saint_Exupéry Жыл бұрын
спасибо за информацию и открытость. понравилось. подписался.
@santy3546
@santy3546 Жыл бұрын
Пишу парсеры больше года за 2к рублей, услышал про прибыль в несколько миллионов, поплохело. Пойду заварю дошик, надо все обдумать
@MaximKulgin
@MaximKulgin Жыл бұрын
удачи. без шуток
@Mr3tris
@Mr3tris Жыл бұрын
@santy3546 как с вами связаться?
@MentorOfMentors
@MentorOfMentors Жыл бұрын
Пишу парсеры за 70к с базой данных
@santy3546
@santy3546 Жыл бұрын
​@@MentorOfMentors а где берете клиентов?
@fpshunter
@fpshunter Жыл бұрын
Пишу «парсеры» в гугл, кнтрлц-кнтрлв - работает. Продам за миллион - налетайте, только очередь соблюдайте
@alexlightweight
@alexlightweight Жыл бұрын
Очень интересный видос! Работаю программистом, о собственном бизнесе даже не задумываюсь, но так интересно послушать что там творится. 🙂
@MaximKulgin
@MaximKulgin Жыл бұрын
Спасибо 🙏
@rism8345
@rism8345 Жыл бұрын
Очень интересно было послушать, спасибо за прозрачность
@YanChief
@YanChief Жыл бұрын
Да, было полезно, спасибо
@MaximKulgin
@MaximKulgin Жыл бұрын
спасибо
@azimutjava
@azimutjava Жыл бұрын
Как всегда топ инфа!
@MaximKulgin
@MaximKulgin Жыл бұрын
спасибо!
@andreykov
@andreykov Жыл бұрын
Правильно, что сказали про таймауты между парсинговыми запросами, про перерывы и т.п. Есть сайты, которые сами предоставляют данные, дают аккаунт и они жестко указывают частоту запросов, если вы их нарушите, вас забанят. Конечно, вы можете использовать несколько прокси с несколькими аккаунтами и тянуть параллельно данные. Но я, когда занимаюсь парсингом обычного сайта, придерживаюсь такого же алгоритма, чтобы ненамеренно не заддосить. А данные, в зависимости от области, могут идти на пополнение баз знаний, для ИИ и т.п. Обычно в компании такая задача даётся одному программисту и он, имея наработки в этой теме, может быстро спарсить новый сайт, настроить регулярное обновление данных с этого сайта и т.п.
@ИбрагимДринкерманн
@ИбрагимДринкерманн Жыл бұрын
Когда сайтов становится больше хотя бы 50 один не вывезешь даже если ты супермен. И это если данные не проверять вообще, парсер что-то выдал, значит результат. По хорошему нужен контроль выходных данных, обнаружение аномалий и тд.
@SHADOW91XO
@SHADOW91XO 11 ай бұрын
Спарсят всё, вместе с ботом XD пасибо за интересный видос. Случайно наткнулся когда искал как бы струкрутировать инфу. и вааааау. крутяк. настроение поднялось.
@MaximKulgin
@MaximKulgin 11 ай бұрын
спасибо
@ZhanatanBacker-x7u
@ZhanatanBacker-x7u Жыл бұрын
Я полностью доволен этим казиком. Играю здесь уже пару месяцев. Пока все гуд)🍊
@ПавелК-ш7к
@ПавелК-ш7к Жыл бұрын
шикардос, благодарен
@eugenyenot6604
@eugenyenot6604 Жыл бұрын
22:40 по поводу "вы взяли данные и получаете выгоду" вы же по идее собираете информацию и продаёте её, т.е. получаете выгоду с помощью информации, которую собирали у себя на сайте другие, забираете её себе и перепродаёте так сказать. (не в упрёк, пытаюсь понять как это в плане законности работает)
@rebuilderowner78673
@rebuilderowner78673 Жыл бұрын
Я тоже не совсем понял где эта граница, хотелось бы пояснений чтобы попе больно потом не было)
@Alan_Ry
@Alan_Ry Жыл бұрын
Привет Максим, а я парсил и картинки) 12000шт с гугл, 5000 с янды, и норм, и можно даже сразу сжимать эти картинки, чтоб на хостинге клиента аесили не много😊
@Alan_Ry
@Alan_Ry Жыл бұрын
О, а еще скоро предстоит парсить около 3500*48=168.000 😢 ух епт, теперь понимаю какой звездец меня ждет, скажу цену в 20к клиенту ибо согнусь как гусеница со своим пк😅
@VerdaFucillo
@VerdaFucillo Жыл бұрын
Круто что ты реально знаешь как тут тащить и юзаешь разные игры и тактики!
@negonifas
@negonifas Жыл бұрын
Оч хорошо, спасибо. Смотрю...
@MaximKulgin
@MaximKulgin Жыл бұрын
спс
@mrtempl
@mrtempl Жыл бұрын
А как рассчитать цену за парсинг? Объём то может быть разный. Чтобы зарабатывать, нужно же рачитывать цену за одну строку данных.
@AlevtinaUvarova
@AlevtinaUvarova Жыл бұрын
Вовремя ты переключался, красавчик) так бы мог до талого играть и все слить) А сейчас окуп славил. Класс)
@supreltd
@supreltd Жыл бұрын
Все верно! Удачи и процветания, коллега!
@MaximKulgin
@MaximKulgin Жыл бұрын
Спасибо
@PooyaAsady
@PooyaAsady Жыл бұрын
Вот тебе свезло конечно) надеюсь дальше будет так же) удачи
@andreygoose8606
@andreygoose8606 Жыл бұрын
Спасибо!
@covertmanipulationofdeviat8817
@covertmanipulationofdeviat8817 3 ай бұрын
А есть вакансия капчю порешать на досуге, фрилансом?=)
@pohitinos
@pohitinos Жыл бұрын
Мега огонь! Очень полезно и интересно.
@MaximKulgin
@MaximKulgin Жыл бұрын
Спасибо
@Alex-wp9kh
@Alex-wp9kh 11 ай бұрын
Как определить, что сайт держит вашу нагрузку или уже перебор?
@ВладимирВермутов
@ВладимирВермутов Жыл бұрын
трекк тайм 18:00 не совсем уловил , данные из инет магазина лежащие в открытом доступе парсить можно , но продавать нельзя ? не уловил чето совсем
@User-ic3hv
@User-ic3hv 9 ай бұрын
Речь идёт о плагиате. Т.е. о копировании данных с чужого магазина и размещения этих данных на своём в исходном виде.
@ПетрЦарик-щ2ф
@ПетрЦарик-щ2ф 8 ай бұрын
Максим спасибо большое за очень позновательные видео. Подскажите пожалуйста в каких нишах парсинг более всего востребован? Например из каких отраслей к вам чаще обращаются за парсингом?
@sergeponomarev
@sergeponomarev Жыл бұрын
Максим, спасибо за видео, очень полезно. Напишите, пожалуйста, название хостера для серверов (не смог расслышать)
@MaximKulgin
@MaximKulgin Жыл бұрын
net reack
@pycharme
@pycharme Жыл бұрын
Поиск не находит, можно прямую ссылку?@@MaximKulgin
@dmitry7464
@dmitry7464 11 ай бұрын
Сколько будет спарсить вк?)))))) Спасибо большое, очень интересно и полезно для тех кто решится
@MaximKulgin
@MaximKulgin 11 ай бұрын
ВК ? его не спарсить
@dmitry7464
@dmitry7464 11 ай бұрын
это была шутка)@@MaximKulgin
@АлександрПлатонов-м1э
@АлександрПлатонов-м1э Жыл бұрын
Спасибо вам за информацию!
@MaximKulgin
@MaximKulgin Жыл бұрын
Спасибо
@green.616
@green.616 Жыл бұрын
А есть сайты которые банят по IP если не скачиваешь картинку?
@КириллФилиппов-ф5б
@КириллФилиппов-ф5б Жыл бұрын
Не пойму, почему матчинг товаров не получается? Мне эта задача кажется тривиальной.
@MaximKulgin
@MaximKulgin Жыл бұрын
очень сложная задача
@Noname-px6fq
@Noname-px6fq Жыл бұрын
Потому что все карточки заводят по своему, попробуйте найти обычным поиском товар определённый, кто-то в названии указал модель, а кто-то нет итд.
@pashastatch8313
@pashastatch8313 3 ай бұрын
ИИ в матчинге не пробовали подключать? Например разбор товара по картинке
@sergeysergeev2180
@sergeysergeev2180 3 ай бұрын
Здравствуйте. Немогли бы вы сказать по пунктам что относится к персональным данным которые нельзя парсить? То есть например если на OLX выложен номер телефона , имя , то их можно парсить или нет? Ну или там ещё каки то ньюансы!
@MaximKulgin
@MaximKulgin 3 ай бұрын
Тут лучше к юристам. Все что позволяет идентифицировать человека запрещено
@sergeydeynego6949
@sergeydeynego6949 Жыл бұрын
Единственная проблема в парсинге - постоянные платежеспособные клиенты. Есть системы, которые способны автоматически генерировать парсер для конкретного сайта, и делать остальную работу (прокси , очереди, пайпланы данных и т.д.)
@MagicMightNew
@MagicMightNew Жыл бұрын
Генерировать парсер или разборщик разметки? Самая простая часть парсинга - это разобрать полученный контент. Остальные 98% работы это выявление закономерностей как сайт работает, откликается, паттерны блокирования запросов, ротация прокси и периодическая верификация структуры
@MaximKulgin
@MaximKulgin Жыл бұрын
Да
@sergeydeynego6949
@sergeydeynego6949 Жыл бұрын
@@MagicMightNew половина из перечисленных вами задач достаточно проста.
@MagicMightNew
@MagicMightNew Жыл бұрын
@@sergeydeynego6949 проста, когда у тебя 10-50 средней паршивости источников, с которых должен быть стабильный сбор. Да и я не сказал, что остальная часть задач - сложная. Я только выделил самую простую из них
@Mr3tris
@Mr3tris Жыл бұрын
Что за системы?
@AntonNdv
@AntonNdv Жыл бұрын
Сервисы по подбору автострахования также работают через парсинг? где по номеру авто выходит вся информация по автомобилю
@MaximKulgin
@MaximKulgin Жыл бұрын
видимо да. но точно не скажу
@konstantinshmarin2676
@konstantinshmarin2676 7 ай бұрын
Доброго дня! Мне всё понятно, то, что Вы говорите. Бланодарен за информацию. А Возможно с Вами лично созвониться ? Как сконтактировать?
@MaximKulgin
@MaximKulgin 7 ай бұрын
добрый день, я в телеграмме доступен
@dmitriykonopinskiy3793
@dmitriykonopinskiy3793 Жыл бұрын
а вы не пытались спрашивать почему они так реагируют негативно? это же вроде не продавцы на рынке, которые думают, что цены у них нельзя снимать
@alexeykerdivare
@alexeykerdivare Жыл бұрын
Ты не поверишь
@rebuilderowner78673
@rebuilderowner78673 Жыл бұрын
​@@alexeykerdivare😂
@teriys2728
@teriys2728 Жыл бұрын
Интересный видос, тоже в компании много парсим и сейчас строим проект сначала для себя, потом возможно выкатим публично связан с парсером организаций. Скажите пользуетсь ли selenium или другим движком для эмуляций действий. Ведь иногда парсить приходится не в лоб html контент, а получая данные после некоторых манипуляций со страницей (например карты) . Еще есть phantomJS, но пока это не использовал. Если не секрет поделитесь хотя бы намеком. Будет полезно
@rebuilderowner78673
@rebuilderowner78673 Жыл бұрын
Все инструменты хороши, если тянется реквестами с beautiful soup, то их и использовать, если есть защиты или динамическая подгрузка, то само собой только эмуляция браузера или драйвер для управления браузером
@kukuepta79
@kukuepta79 19 күн бұрын
плайврайт лучше селениума. почему то ни кто про него не говорит.
@typethrees
@typethrees Жыл бұрын
6:09 Никогда, никогда, никогда не покупай в офис ИТ компании стул ИСО за 1000 руб.! :)
@MaximKulgin
@MaximKulgin Жыл бұрын
Ага скрипит
@ii3246
@ii3246 Жыл бұрын
я для себя собирал быстро, но включал в то время когда сат минимум нагружен, чтоб не положить и проверял не забанили ли, подбирал тайминги.😁тот же hh парсил, 20 страниц быстро побежался ночью, пауза, еще 20. и не каждый день, раз в месяц общую статистику собрал и ушел.)) тот что тяжелый парсер у меня, он да, он идет с паузами 3-4сек. но он и парсит не 3 минуты а 30-40 минут.)) но там уже бегает по именно вакансиям развернутым, там нагрузка больше, поэтому тайминги такие чтоб не дидоснуть случайно.))
@maksimsergeevich5939
@maksimsergeevich5939 Жыл бұрын
Про парсеры сам думал, была идея saas сделать но по факту это такой геморрой, потому что парсеры постоянно ломаются если парсят более менее серьезный сайт и все это нужно поддерживать. Можно конечно сделать некий менеджер парсеров, но это как раз таки уже не так сложно и думаю такие решения уже существуют. Хотя в целом представляю себе гипотетически некий конструктор парсеров в котором предусмотрены компоненты которые часто используются для написания парсера, но опять же, слабо верится что можно будет добиться эффекта швейцарского ножа. Все равно придется писать кастомный код и накручивать костыли. Я писал парсер объявлений с Яндекс.Услуг. 3 месяца проработало, а потом сломалось. Хотя парсил с таймаутом по 2 секунды между запросом и 30 минут между обходом всех страниц в выдаче, чтобы не наглеть. В итоге тот еще геморрой был. Периодически меняется api, блочат по ip, усложняют каптчу и так далее. Как будто специально хотят усложнить парсинг. Потом чтобы они меня по ip не банили перевел парсинг запросы на их же лямду. Ежемесячного бесплатного гранта хватало на парсинг))
@MaximKulgin
@MaximKulgin Жыл бұрын
Так и есть
@Valera374
@Valera374 Жыл бұрын
Церебро, Таргет Хантер и Пеппер Ниндзя свои парсеры для вконтакте сделали и теперь между собой конкурируют, чтобы таргетологи вк несли им деньги, а деньги там приличные.
@alexeykerdivare
@alexeykerdivare Жыл бұрын
Если вопрос не решается в лоб, он решается иным подходом. Например,, накопить огромную базу соответствий задания, исходных структур данных и полезной части скриптов паркинга или методов обхода и скормить нейросети. Затем долго бить её по пальцам через обратную связь на простых, постепенно усложняющихся примерах. Но магия и узкое место в размере базы для обучения. Сотни российских сайтов совсем не объем, однако все сайты мира вполне вероятно для раскачки ИИ-парсера. Рутина - это то, чем должен заниматься компьютер, а не человек. Здесь рассказчик всю дорогу говорит о рутине.
@ИбрагимДринкерманн
@ИбрагимДринкерманн Жыл бұрын
@@Valera374вк имеет апи, легальный. Там и парсить то ничего не надо.
@ИбрагимДринкерманн
@ИбрагимДринкерманн Жыл бұрын
Менеджер парсеров как инфраструктура - любой оркестратор. Менеджер парсеров для заказчика - готовый продукт, который, насколько я знаю, никто даже продавать не торопится. Ибо не выгодно. Конструкторов парсеров как говна за баней. Сложность парсинга не в коде парсера. Написание кода это примерно 2% от всей работы. Автоматизировать тут что-то да куда уж больше? В питухоне есть целые фреймворки, в других языках ну на пару строчек больше писанины, но это вообще не критично.
@gccode1076
@gccode1076 Жыл бұрын
Вакансии есть к вам на работу? Где посмотреть ? Язык не важен, ну экономия на серверах в зависимости от языка.
@rebuilderowner78673
@rebuilderowner78673 Жыл бұрын
Я не буду отвечать за автора, но предположу что в цене разница ре сильно большая и питон и c# и php и go для этих задач подходят очень хорошо и разницы в хостере большой не должно быть
@MagicMightNew
@MagicMightNew Жыл бұрын
Было интересно послушать как человеку, который полтора года работал в отделе парсинга) Некоторые вещи вызывают улыбку, но, в целом, очень здраво
@MagicMightNew
@MagicMightNew Жыл бұрын
Про яндекс.маркет и озон прям флешбеки. Особенно про маркет)
@MaximKulgin
@MaximKulgin Жыл бұрын
Мы три года парсим
@AlekseiAlekseevich_49
@AlekseiAlekseevich_49 Жыл бұрын
Здравствуйте, подскажите куда пойти учиться чтобы научиться парсить! И освоить эту профессию с нуля!
@Sky_Lib
@Sky_Lib 10 ай бұрын
Python и Scrapy, Beautiful Soup 4, selenium и умение работать с файлами
@dzufty433
@dzufty433 Жыл бұрын
как у вас вскрывается капча? программно или человек ?
@MaximKulgin
@MaximKulgin Жыл бұрын
програмно
@bonauze
@bonauze Жыл бұрын
А почему именно мобильные прокси, а не серверные? С какими проблемами сталкивались? Спасибо.
@MaximKulgin
@MaximKulgin Жыл бұрын
мобильные реже блочат
@sergiogonzalesYT
@sergiogonzalesYT Жыл бұрын
Интересное видео.
@iscars
@iscars Жыл бұрын
А вакансии есть? Я 2 года назад этим занимался
@MaximKulgin
@MaximKulgin Жыл бұрын
Пока нет
@СергейМакаренко-ы4ю
@СергейМакаренко-ы4ю Жыл бұрын
👍🔥💯💥💯🔥👍
@adambolotov1809
@adambolotov1809 8 ай бұрын
как думаете возможно обучиться самостоятельно в нете парсингу и зарабатывать на этом в соло через фриланс? и какие это будут суммы в месяц если реалистично?
@MaximKulgin
@MaximKulgin 8 ай бұрын
боюсь что сложно...
@jasonstathoom5142
@jasonstathoom5142 4 ай бұрын
Без опыта программирования и сразу во фриланс будет очень сложно конкурировать и в целом работать.
@TheAnton1234
@TheAnton1234 Жыл бұрын
Хорошие у Вас видео, не боитесь говорить так как есть, спасибо! Максим подскажите, а как Вы формируете цену на парсер (или любой другой продукт) для клиента, чтобы это была аренда, а не разовая оплата, с учетом того, что это будет индивидуальная разработка под конкретного клиента и как договариваетесь об этой цене, имеется в виду как обосновываете?
@MaximKulgin
@MaximKulgin Жыл бұрын
там же услуга. люди получают данные. и платят подписку
@TheAnton1234
@TheAnton1234 Жыл бұрын
@@MaximKulgin Да,я понимаю, но вопрос вот в чем, например я хочу также как и Вы продавать проектную разработку но по подписке, услуга будет какой-то узконаправленной, чтобы была экономия на масштабе и кривой обучения. Тогда встает вопрос как определить цену для такой услуги, например мне заказали разработку программы, я посчитал, что ее разработка обойдется в 100 т.р., и как дальше? Например я могу поделить эту сумму на 12 месяцев, и брать с клиента 8 333 руб., но тогда возникает риск того что перестанут пользоваться и разработка не окупится. Еще есть другая ситауция. Клиент просит сделать доработку, как такую доработку включать в ежемесячную оплату?
@Max-nr1bv
@Max-nr1bv Жыл бұрын
Круто. Почему не боитесь конкуренции?
@MaximKulgin
@MaximKulgin Жыл бұрын
Рынок большой
@КириллФилиппов-ф5б
@КириллФилиппов-ф5б Жыл бұрын
Чтобы не нагружать сайт запросами чрезмерно, можно интересующую страничку с информацией получить единожды в формате html на жёсткий диск. А потом уже никуда не отправляя никакие запросы распарсить эту страничку и извлечь интересующее.
@alexeykerdivare
@alexeykerdivare Жыл бұрын
Ajax запросы слышал? Html часто голый
@Kleymor12
@Kleymor12 Жыл бұрын
А если в html коде нет информации (сделано на js. - react, vie js) - тоже спарсите?
@alexandr.goncharov
@alexandr.goncharov Жыл бұрын
Естественно, если Вы что-то видите в браузере, то это видит и парсер.
@nen5868
@nen5868 Жыл бұрын
​@@alexandr.goncharov как? Например у букмекеров js, как там спарсить. В режиме разработчика видно все теги, а если открыть код страницы, то там их уже нет, за место их стоит js.
@Gigachyt
@Gigachyt Жыл бұрын
​@@nen5868 Смотреть внутренний код, что отправляет сервер , обычно в JSON или JS. Это вообще-то не очень сложно, есть обфускация, помноженная на cloudflare, капчу , всякие детекты с блоком proxy, по фингерпринтам иногда детектят.
@andrejaga3003
@andrejaga3003 Жыл бұрын
Под многие языки работает Selenium (можете погуглить). Это драйвер браузера, которым вы из кода командуете и эмулируете действия простого пользователя. Сейчас все то, что вы видите в браузере, можно спарсить.
@rinatyagafarov5328
@rinatyagafarov5328 Жыл бұрын
Благодарю за видео. Выписал для себя 20 пунктов на вооружение.
@maltanomad7376
@maltanomad7376 10 ай бұрын
очень интересно, Изучаю Парсинг, прикольная вещь, буду развиваться. Подписался ан вас и в телеге
@MaximKulgin
@MaximKulgin 10 ай бұрын
спасибо
@generalanabolik4748
@generalanabolik4748 Жыл бұрын
Вы какой программой парсите? Басом?
@MaximKulgin
@MaximKulgin Жыл бұрын
Net core
@rebuilderowner78673
@rebuilderowner78673 Жыл бұрын
Тенором
@jasonstathoom5142
@jasonstathoom5142 4 ай бұрын
Компьютерная программа C# на стационарной электронно-вычислительной машине
@kukuepta79
@kukuepta79 19 күн бұрын
@@MaximKulgin кстати да, как профи делали сравнения между разными языками для парсинга? есть разница в скорости? По идее пайтоно математиками был сделан именно под эти задачи. Или это просто дело привычки? Благодарю за видео, и за грамотную русскую речь в которой и намека не было на междометие )) Приятно слушать, этого не хватает сейчас в Мск, после СПб...
@Ty_Sila
@Ty_Sila Жыл бұрын
Макс, почему нельзя просить е-мейл и телефон, ведь, это тоже открытая информация. Когда пользователь вводил данные, он согласился на "обработку персональных данных".
@MaximKulgin
@MaximKulgin Жыл бұрын
парсить где? на сайтах компаний? да можно
@Ty_Sila
@Ty_Sila Жыл бұрын
@@MaximKulgin на маркетплейсах и досках объявлений.
@dmitriykonopinskiy3793
@dmitriykonopinskiy3793 Жыл бұрын
@@Ty_Sila "Когда пользователь вводил данные, он согласился на "обработку персональных данных"" на обработку площадкой, а не кем попало. от таких как ты этот закон и защищает
@defcon_one
@defcon_one Жыл бұрын
Здорово, конечно, слушать про OVER NINE THOUSAND рублей выручки, но что насчёт прибыли? Может, она у вас отрицательная вообще? По своему опыту знаю, что, замалчивая прибыль и заменяя её в презентации выручкой, докладчик стремится манипулировать кадрами низшего звена и кандидатами на равнозначные им должности.
@MaximKulgin
@MaximKulgin Жыл бұрын
данные на сайте ФНС открыты для сомневающихся.
@defcon_one
@defcon_one Жыл бұрын
@@MaximKulgin Не поленился залезть и почитать про ООО "РЕФОРМА". Суммы доходов и расходов по данным бухгалтерской отчетности организации выглядят плачевно и не переубедили меня.
@maksimsergeevich5939
@maksimsergeevich5939 Жыл бұрын
Что касается it и тем более ИИ, хочу сказать что я понял одну вещь: никогда не говорите никогда, потому что потом будет стыдно и смешно. Про ИИ уже говорили: он никогда там не сравнится с человеком, он никогда не сможет творить и тд... На любую задачу найдется алгоритм который будет справляться с ней лучше чем человек. Потому что вычислительная мощность процессоров на порядки быстрее чем у мозга. И задержка в передаче сигнала ниже. Человек пока что алгоритмтчески опережает компьютеры в решении некоторых задач, потому что уже натренирован на их решении и архитектурно оптимизирован. Это лишь вопрос "когда", а не "будет ли".
@ИбрагимДринкерманн
@ИбрагимДринкерманн Жыл бұрын
Не стоит переоценивать ML инструменты. Это всего лишь инструменты. Эффектные, эффективные, но не универсальные. Лобзик круче человека пилит, но он не круче человека и никогда(в обозримом будущем) не станет круче. Все сегодняшние достижения нейронок должны были случиться лет 10 назад, по прогнозам моих преподов. Они этой темой бредили еще в начале нулевых. Я в этой теме уже 20 лет варюсь. И в парсинге 10. Сматчить товары - говно вопрос, сделать ML парсер - маловероятно. Мы пытаемся, но не так все радужно. А ведь написание парсеров это не рокет сайнс далеко. Вся вот эта чушь про вычислительные мощности мозга это вообще о чем? Это вообще задача, к которой даже подступиться пока непонятно как. Не ясно что именно измерять. Есть какие-то громкие заявления, но они являются просто теорией, ничем не подтвержденной. Во всяком случае пока. Мы про мозг знаем гораздо меньше, чем про компьютер. Знали бы больше, может и общий ИИ бы развивался, а пока только прикладные инструменты.
@Antonio-mne-jarko
@Antonio-mne-jarko Ай бұрын
Очередной науковер 😂
@kukuepta79
@kukuepta79 19 күн бұрын
@@ИбрагимДринкерманн поддерживаю, закончил 20 лет назад Itшку, так вот мало кто догадывается, что мы ИИшные сети делали на первых пнях на первом пайтоне 22 года назад не предмете который так и назывался ИИ.
@alisofidar
@alisofidar Жыл бұрын
кого сложнее всего парсить, я бы отметил днс скорее всего
@MaximKulgin
@MaximKulgin Жыл бұрын
да. и их тоже.
@alexandr.goncharov
@alexandr.goncharov Жыл бұрын
citilink мозг делает очень
@Funnyvideos-tu4ub
@Funnyvideos-tu4ub 4 ай бұрын
отличное видео
@MaximKulgin
@MaximKulgin 4 ай бұрын
спасибо
@dzimorh
@dzimorh 3 ай бұрын
Здравствуйте парсинг вообще законно?
@MaximKulgin
@MaximKulgin 3 ай бұрын
Вообще да
@dzimorh
@dzimorh 3 ай бұрын
@@MaximKulgin благодарю
@zalix77
@zalix77 3 ай бұрын
что то не понятно , парсят они 700-800 сайтов, один сайт 10к стоит, откуда тогда 20 кк взялось, чето не сходится
@MaximKulgin
@MaximKulgin 3 ай бұрын
есть сайты за которые мы просим 2000 р. т.к. их порядка 500 :) в работе
@ArtemNi
@ArtemNi Жыл бұрын
Интересная тема. Думаю вот как к ней грамотно подойти пока в продуктовом смысле и разогнать на физических лиц....
@ИбрагимДринкерманн
@ИбрагимДринкерманн Жыл бұрын
Зачем это физлицам? Физлицам помог бы например парсинг фото соцсети от экстремистской компании. Чтобы там получить ответ что сегодня модно, например. Но физик не вывезет это по деньгам.
@ВладиславЛебеденко-ш4ч
@ВладиславЛебеденко-ш4ч Жыл бұрын
Минус - нужна обратная связь. Ваша дополнительная прибіль.
@DreamingDolphing
@DreamingDolphing Жыл бұрын
А что если российские сайты наконец поумнеют и будут продавать доступ к своему API? Тогда ваш бизнес просто умрёт.
@MaximKulgin
@MaximKulgin Жыл бұрын
Да
@alfed6989
@alfed6989 Жыл бұрын
Авито с платным api доступом, например
@jasonstathoom5142
@jasonstathoom5142 4 ай бұрын
Так потом можно просто работать с АПИ и все. Большинство все равно предпочтут купить готовые данные, чем содержать выделенную команду под это. Просто себестоимость парсинга уменьшиться и кол-во усилий, соотв. и штат парсеров снизится.
@HastaLM1987
@HastaLM1987 Жыл бұрын
И это всё не пиздеж 😊. Парсинг хорошая тема, правда что то не пошло у меня. Заказов нет и нет, пошел в 3D печать, а хуль жрать что то надо...
@axelvermontov6607
@axelvermontov6607 10 ай бұрын
что за 3д печатать
@HastaLM1987
@HastaLM1987 10 ай бұрын
@@axelvermontov6607 печать на 3D принтере всякой пластиковой хрени. автозапчасти, бытовуха и т.д.
@ii3246
@ii3246 Жыл бұрын
только коммент написал и ютуб сразу выдал..🤣 спасибо!
@royalstalker114
@royalstalker114 Жыл бұрын
@NikolayServakov
@NikolayServakov Жыл бұрын
Выгрузки из яндекс услуги. Только данные, парсер не продаю😂
@MaximKulgin
@MaximKulgin Жыл бұрын
можно и так да
@gooseman5578
@gooseman5578 Жыл бұрын
а как продавать 2gis, если не парсить 1 в 1? Заказчики же хотят именно ту инфу, что на сайте...
@MaximKulgin
@MaximKulgin Жыл бұрын
Можно парсить и обогащать
@alexeykerdivare
@alexeykerdivare Жыл бұрын
Полно бесплатных парсеров 2gis, стыдно продавать.
@rebuilderowner78673
@rebuilderowner78673 Жыл бұрын
​@@alexeykerdivareстыдно покупать, продавать нормально 😊
@КаринаГово
@КаринаГово Жыл бұрын
💥👋
@MaximKulgin
@MaximKulgin Жыл бұрын
спасибо бро
@maksimsergeevich5939
@maksimsergeevich5939 Жыл бұрын
И по поводу каптчи хотел высказаться, что в наше время это конечно дикий архаизм использовать каптчу на сайте, и особенно подписывать что мол Проверяем что вы не робот. Полная чушь и деградация. А самая адекватная защита от парсинга это обфускация API, периодическое обновление API, обфускация ответов сервера и кода на клиенте, запутывание http контрактов для общения с сервером, куча кук которые выдаются по какой-то не очевидной логике и конечно знание метрик своих клиентов, настройка прокси сервера чтобы отпинывать или банить тех кто, например, делает в 5 раз больше запросов в секунду чем 90 перцентиль клиентов. Меня дико бесят каптчи со светофорами и автобусами, и особенно когда твой правильный ответ считают неправильным. Полная дичь и отсталость. Точно также как и чекбоксы с галочками которые обойти как 2 пальца обо$$ать.
@alexeykerdivare
@alexeykerdivare Жыл бұрын
Все эти защиты ведут к нестабильной работе сайта при разнообразной клиентской базе браузеров. Обфускация, конечно, хорошо. А усредненная нагрузка со среднего клиента может быть искусственно задрана в ночные часы десятком подключений через разные IP.
@maksimsergeevich5939
@maksimsergeevich5939 Жыл бұрын
@@alexeykerdivare каким образом каптча является альтернативой в этом случае? Я просто сказал что может помочь. И это точно не каптча))
@Advokat7V
@Advokat7V Жыл бұрын
парсю более 4 лет, все что угодно, основные клиенты это конкуренты или НР
@rebuilderowner78673
@rebuilderowner78673 Жыл бұрын
Что такое hp?
@cyrilalexeyava
@cyrilalexeyava Жыл бұрын
Че за сытный окуп пришел)) офигеть я тебе завидую с такими винами)
@НиколайК-к7н
@НиколайК-к7н Жыл бұрын
Пробовал найти подработку, по пирсингу. Бесполезно. Учень узкий рынок.
@vitaliyyasinskiy3689
@vitaliyyasinskiy3689 Жыл бұрын
слушаю взахлеб для статистики: тоже программист, бизнеса нет
@MaximKulgin
@MaximKulgin Жыл бұрын
спасибо
@AlekseyInogamov
@AlekseyInogamov Жыл бұрын
Я понимаю что вы профессионал в своём деле! Но вы в серьёз считаете что proxy или всякие торы вам помогут быть анонимными? Они конечно же помогают в анонимности людям, которые нахрен никому не нужны. Но грамотному специалисту просто понадобится больше времени чтобы вычислить. Где нужно было бы 10 минут, ему понадобится 30 чтобы выследить всю цепочку. Просто как вы правильно заметили, что вы работаете в рамках правового поля, и выслеживать вас никто не будет. Ну может кроме конкурентов. Вот от них возможно анонимайзеры и защитят, ибо не у всех кулхакеров есть скилы и инструменты для подобной работы. А вот у IT криминалистов они есть)) И они Очень мощные, и Очень мощные сервера
@MaximKulgin
@MaximKulgin Жыл бұрын
Мы работаем в правовом поле всегда
@ИбрагимДринкерманн
@ИбрагимДринкерманн Жыл бұрын
Эм. Обученный берт и кой-какие препроцессоры и постпроцессоры матчат товары в 90+% случаях. Сложно? Вообще нет. Обучить берта имея хренову гору матченых товаров в датасете изи.
@MaximKulgin
@MaximKulgin Жыл бұрын
Плохое качество в итоге
@ИбрагимДринкерманн
@ИбрагимДринкерманн Жыл бұрын
@@MaximKulginотличное качество. Когда речь идет о миллионах товаров
@yalmeme
@yalmeme Жыл бұрын
в чем вообще смысл говорить клиенту что вы его парсите? ну парсите и парсите, ничего такого. зачем на ровном месте создавать конфликт интересов, озвучивая это.
@MaximKulgin
@MaximKulgin Жыл бұрын
Если спросят только
@Алексей-ю8я7т
@Алексей-ю8я7т Жыл бұрын
Парсить не сложно, сложно клиентов искать.
@MaximKulgin
@MaximKulgin Жыл бұрын
Это всегда сложно да
@Пророк-г9ч
@Пророк-г9ч Жыл бұрын
@@MaximKulgin ну вот я пытался, даже сайт сделал, потом понял что ни когда клиентов не найду и сейчас занимаюсь более продуктовыми штуками. Они наверное более рисковые и неопределенные в моем случае, но по крайней мере заходят, я даже могу сказать что не плохо зарабатывают, а с парсингм был тупо ноль, хотя я парсить то вроде умею.
@oeaoo
@oeaoo Жыл бұрын
Почему этика для Вас - это ничто?
@svovka83
@svovka83 Ай бұрын
4.40: почалась не сво, а війна!
@MaximKulgin
@MaximKulgin Ай бұрын
наверное. спорить не хочу.
@MrKERTAK
@MrKERTAK Жыл бұрын
Алоха - на лоха
@art_alf-b9b
@art_alf-b9b 10 ай бұрын
Даже жалко Вас стало. С такой болью рассказываете о своем бизнесе. Так Вам не легко деньги эти даются
@MaximKulgin
@MaximKulgin 10 ай бұрын
не легко.
@Fryderyk_Franciszek_Chopin
@Fryderyk_Franciszek_Chopin Жыл бұрын
Заблуждение в том, что нельзя бороться с парсерами. Согласен только, их совсем не победить, но можно сделать так, что заказчик просто не осилит ценник у парсеров. Парсинг станет экономически не выгоден. Хороший админ это сделает не потея. Жаль, что вы этого не понимаете. Что на том конце сидит админ, а вы так и будете действовать по шаблону. Я говорю не про монстров рынка, а про обычные средние и мелкие фирмы. Вот у меня был случай. Юридическая фирма в сфере авторских прав заказала парсинг одного бренда. Туда попал и мой сайт. Авторское право было как предлог давления для выравнивания цен на рынке. Эта была увлекательная война. В которой я победил. Я научился в логах на глаз уже отличать паука и от живого запроса. И чем дальше шла война, тем больше я учился. Да, конечно сервер был не в России. Чтобы не было абуз от юристов. Потому что у нас законодательная импотенция. Вот и существуют такие юристы и даже юрлица оказывающие услуги по парсингу. И почему такие говноеды как вы, говорите, что вам насрать на моральную составляющую и при этом говорить о какой то этике парсинга? Эдакие геи на пол шишки.
@MaximKulgin
@MaximKulgin Жыл бұрын
ясно. я говноед. а вы молодец, весь в белом. я таких как вы очень люблю.
@ВячеславТараканов-б9и
@ВячеславТараканов-б9и Жыл бұрын
Блин, чувак, да ты крут! Можно у тебя взять пару уроков офигенности?
@MaxUgolnikov
@MaxUgolnikov Жыл бұрын
Посмотрев одно его видео, вы уже знаете суть его 99% видео. Чувак с пустого в порожнее в каждом видео переливает. Парсинг, скликивание, нужен продукт, грант от государства на 4 млн и в айти все нет хорошо, как вы думаете. Вот про это он в каждом видео толчет воду в ступе.
@MaximKulgin
@MaximKulgin Жыл бұрын
И вам не хворать
@alexeykerdivare
@alexeykerdivare Жыл бұрын
Я те больше скажу - даже профессора-популяризаторы, пытаясь освещать свою отрасль и точку зрения на главные вопросы, скандируют одно и то же. Курпатов, Дубынин, Дробышевский. Что уж говорить о тех, кто просто раскручивает бизнес. Более-менее оригинальны контент-мейкеры, типа veritasum, thosoi и других популяризаторов науки широкого профиля, у них каждый раз разные приключения. Вы сами попробуйте быть оригинальным долго.
@jasonstathoom5142
@jasonstathoom5142 4 ай бұрын
В каждом видео много полезной информации тому, кто по каждой теме хочет применить эти знания у себя в аналогичной сфере. А вы, судя по всему, хотите магическую формулу с раскрытием всех секретов, как построить бизнес от А до Я.
@AVITO_SCAM_PROJECT
@AVITO_SCAM_PROJECT Жыл бұрын
👍👍👍👍
Парсинг динамических сайтов | selenium python
43:00
Алексей Куличевский
Рет қаралды 16 М.
Скрейпинг сайтов с помощью библиотек Beautifulsoup и Requests на Python
23:05
Мастерская Важных историй
Рет қаралды 81 М.
НЕЙРОСЕТЬ УНИЧТОЖИЛА ДЖУНА
31:47
Роман Сакутин
Рет қаралды 176 М.