Бизнес на Парсинге Данных: Подробное Руководство. 47 советов из опыта.

[@pafnuteus]

ох, помню, в 2010м году написал парсер для "Бюллютень недвижимости", когда покупал первую квартиру. Новые объявления появлялись каждый день, и нужно было успеть вперед риэлторов. Страшно подумать, писал парсер на Visual Basic Script без всяких регэкспов) Потом делал бота для мамбы (в этот раз на пхп), чтоб вместо меня ходил по женским анкетам. В итоге, нашел жену) точнее, она меня как-бы получается нашла. Inversion of control получился). Эх, чтоб мне тогда не подумать, что из этого можно сколотить бизнес...

[@pafnuteus]

18:10 есть компания Медиалогия (мониторинг эмоциональной оценки). Работал на них одно время, жирные у них клиенты

[@Lukaviskys]

Спасибо!

[@johnconnor632]

Вы в защитах акамай забыли упомянуть)

[@johnconnor632]

2gis через мобильное API парсится, прилу снифать надо

[@AlexShataev]

"Библиотеки сами поищете, прокси команда закупает, сервис для решения капчи не помню как называется" 😂 спасибо, очень информативное видео 😂

[@MaximKulgin]

Ну извините - надо жопу оторвать и поработать тоже

[@ИгорьПтенцов]

По его мнению вы должны были просто отдать свой бизнес ему ) в благодарность за просмотр.

[@TheDoartLos]

Можно ли устроиться к вам в компанию? Стек: python

[@ypohut1673]

Этот еще надо заказчиков искать чтобы парсинг продать?

[@MaximKulgin]

Да

[@albor7599]

Осталось только курсы на Udemy выложить😊

[@MaximKulgin]

:)

[@NikolayServakov]

Самый известный, наверное, успешный коммерческий проект - авиасейлз)

[@MrFrimko]

авиасало не парсят сайты, это было бы слишком медленно. у них прямая интегарция по API

[@RaleXx85]

Парсинг - штука неоднозначная. Вы в курсе, что многие сайты (напр., торгвые сети) периодически ставят блокировки от парсинга на свои сайты? И то, что работало вчера - сегодня работать перестает и никому не нужно (приходится переписывать код заново, обходя блокировки). Так что больших денег на этом не заработать. Если покажете хоть один достойный пример - можете кинуть в меня камень.

[@PolakoSrbija]

ты вообще видео смотрел?

[@RaleXx85]

@PolakoSrbija а ты?

[@PolakoSrbija]

@@RaleXx85 да, и в нём он говорит что гарантий не дает и не подписывается под них. Как раз из-за блокировок парсинга. Чем ты смотрел? И что это за язвительное "а ты?" Он нигде не говорит, что гребет деньги лопатами. Так на хлеб хватает - так и живут.

[@RaleXx85]

@@PolakoSrbija здоровья тебе, и мирного неба над головой.

[@SergeyBagretsov]

С какой скоростью желательно парсить ап-ру и все-ин?

[@cherkasA]

когда то парсил все инструментыру было у них тогда около 800 000 товаров что бы не банилипарсил в один поток. с применением 100-200 прокси - почти месяц ушел выкачивал всё характеристики, фото. описания и т.д.

[@mustizeo760]

​@@cherkasAна каком яп выполнил задачу ?

[@AlexShataev]

Подскажите, хороший объём для специалиста, это сколько товаров в сутки на том же я.маркете например? На что ориентироваться примерно?

[@MaximKulgin]

Ну например 100к в сутки

[@PolakoSrbija]

@@MaximKulgin чёт не бьется математика. В видосе было сказано "экологичный" парсинг 3 секунды на товар: 100к в сутки это 300к секунд = 5000 минут = 83.3333 часа

[@DreamingDolphing]

Вот вы говорите нет нейронных сетей, а как вы будете обходить защиту, когда некоторые данные на странице генерируются картинкой или как-то через js генерируются в canvas?

[@vr29645]

а никак. таких заказчиков еще надо поискать, а с учетом того что их мало - смысла инвестировать в сложный мл, полагаю, нет

[@MaximKulgin]

Верно

[@MagicMightNew]

Был какой-то зарубежный сайт, где они карточки (чего-то похожего на товары) рендерили в канвас. Вот только у них данные для рендера можно было перехватить)

[@email9092]

такие сайты никто парсить не будет - вывод - в итоге и клиенты с ними полноценно не смогут работать и уйдут. в итоге через время эту защиту сами снимут, так как сами себе делают хуже!

[@AlexBat-r5k]

У вас есть франч? Я бы купил ваш код парсинга и переписал под 1С ))

[@MaximKulgin]

:) нету

[@vyacheslavs5642]

NextCloud?

[@MaximKulgin]

да

[@your-hater]

Снова один и тот же ролик с посылом обо всём и ни о чём. Как вообще можно воспринимать человека всерьёз, когда в прошлых роликах он сначала говорит, что контекстная реклама умерла, а потом идёт эту контекстную рекламу размещать. 🤦🏻‍♂️

[@MaximKulgin]

у нас нет рекламы