№405 - 37 млн. руб. на парсинге сайтов. 13 советов для начинающих в этом бизнесе!

[@andrejaga3003]

Ну, не знаю. Занимался парсингом раньше. Основная проблема -- найти клиента. Это не массовые заказчики, а буквально несколько и все из них хотят получить результат за копейки. Может, мне просто не везло? Какие нафиг миллионы? Последняя просьба была -- сделать на региональном сайте магазина запчастей подстановку с каталога другого крупного поставщика запчастей с изменением цен, готовы были за это заплатить 7 тыс. (семь тысяч) рублей. Вежливо послал нафиг.

[@gorovitz]

Просто подумать, 37млн, чистая прибыль 25% - 9млн, с этого заплатить налоги и поделить на нескольких владельцев Натиссимуса... Выйдет меньше чем зарабатывает 1 программист на мировом рынке. Вывод: отсуствует. Думайте

[@alekseypashkov9993]

Таких сразу лесом слать, пусть сами своими руками

[@АлексейПреображенский-ц3ж]

Карл! походу трабл в том что никто не знает что так можно. Смекаешь?

[@gelo-k-gen]

Он просто цену набивает. Не нужно это никому

[@KROTTT2013]

А можно подробнее про подстановку,я думаю что алиэкспр ру такой же темой занимаюстя с накруткой цены.

[@sergoorg1040]

Это перезалив или перезапись?) Год назад ковырялся в инете с инфой про парсинг, в том числе и похожее видео с этого канала смотрел) тогда восхищался и удивлялся, особенно тому, что парсер за 3 расчетные недели не смогли написать и порекомендовали при составлении договора умножать сроки выполнения на 3). Вот думаю я встрял с этим чертовым парсингом - сложно, но мне нужно было, поэтому с нуля влез в пайтон и после изучения (не сильно глубоко) и с выбором модуля определился и паука себе накатал на 24 строки кода за неделю. Неделя, Карл! И то я застрял на модификации т.к. долго подбирал варианты где меньше артефактов цепляется при запросе. Потом плюнул и просто по шаблону чистится csv само. Так что послушать конечно можно для общего развития, но только один раз) И в любом случае, мое уважение, что тянете команду, я бы не взялся за других, только за себя могу отвечать)

[@Crabiks]

То что вы начали вести тг и ютуб это очень правильное решение :) дни идут, а ваши ролики остаются привлекая потенциальных клиентов. успехов вам :)

[@MaximKulgin]

спасибо!

[@3_d]

Грамотный мужик, мог бы про успешный успех на тренингах личностного роста рассказывать и были бы клиенты

[@MaximKulgin]

Еще доберусь :)

[@blackbigdeath]

Хороший обзор. Раньше тоже занимался парсингом, собирал с сайтов электросетей время отключения и адрес отключения. Потом меня сократили и необходимость в этом отпала. Но было интересно.

[@MaximKulgin]

Спасибо

[@johngort764]

Спасибо, что делитесь информацией, вы крутые!

[@MaximKulgin]

Спасибо

[@levkirichuk]

Спасибо что делитесь и мотивируете. Успехов вашему бизнесу.

[@MaximKulgin]

спасибо

[@sergey_bel]

Было бы интересно послушать про ваше ценообразование в парсинге.

[@MaximKulgin]

Ок

[@ВладВладимиров-г9е]

а на работу принимаете?@@MaximKulgin

[@yusufsjournal]

где это научиться?

[@Joe_blood_egg]

Спасибо за расклады. Я хоть другими направлениями занимаюсь, не IT вообще, но вижу аналогии, как можно предпринимательский опыт применить. Особенно в ситуациях, когда я тоже так думал, но колебался с решением.

[@memorizer]

​ @Red_Paper6495 Какие "такие деньги" ? 7 разрабов, 4 менеджера плюс владелец - 3 ляма на человека выручки в год. Прибыль будет только если сурово кроить на зарплатах.

[@Endrus_]

Серваки иметь свои это конечно хорошо, но только их размещать советую на оооооочень большом расстоянии, мы например вообще в другой стране..... После изъятия их органами, - остались без БД, после того как серваки вернули (через год) инфа потеряла свои свойства полностью....

[@MaximKulgin]

ага . но у нас особо забирать нечего.

[@eugenefedoryachenko8793]

Я сделал продукт из парсинга одного сайта, и у меня сейчас 9 тыс клиентов) За видео спасибо!

[@MaximKulgin]

спасибо! а что за продукт?

[@ГошаЛитвиненко-н1н]

Вы готовый парсер используете или самописный?

[@abrakadabra7491]

А я программист, создаю, ремонтирую, обновляю сайты. Когда надоело сидеть на фрилансе и бороться за каждый заказ, сам напарсил себе заказчиков, и послал вручную им кучу писем. Неделю наверное писал) Но потом на протяжение 7-8 лет у меня отбоя не было от заказов. До сих пор иногда люди отзываются на письма, что-то просят сделать, а некоторые письма, на которые они откликаются, отправлены в 2016-2017 годах. Парсинг - сила, если с умом его применять.

[@eugenefedoryachenko8793]

@@MaximKulgin kinopoisk dev неофициальный api для кинопоиска

[@eugenefedoryachenko8793]

​@@ГошаЛитвиненко-н1н свой, потому что публичные очень ресурсоемнкие и медленные

[@vr29645]

Случайно наткнулся на видео, но было интересно послушать, ибо сам последние 3 года занимаюсь краулингом в немецкой компании.

[@vr29645]

начал смотреть соседние видео, а там услышал про парсинг и дотнет, вот это поворот

[@MaximKulgin]

Да у нас стек net

[@LYT101]

Благодарю за полезную и честную информацию.

[@MaximKulgin]

Спасибо

[@maximivanov8886]

Что-то я сложил затраты на качественный персонал, инфраструктуру и осталось как-то не много. Оборот есть. А деньги в кармане?

[@MaximKulgin]

все ок. мы делимся с командой щедро

[@makc3682]

Какие технологии используете для парсинга? Питон, шарп, джава? Селениум?

[@MaximKulgin]

net core

[@makc3682]

@@MaximKulgin Даже немного удивительно! Обычно все на питоне! А какие библиотеки используете? Селениум, AngleSharp. Просто я начинающий разработчик net core, делал своих пару проектов, в одном парсил нужные мне изображения, во втором к яндекс переводчику обращался - брал заграничный текст по апи, переводил и себе в телегу скидывал :) Использовал Селениум. Интересно что используют в серьезных проектах :)

[@eazy_profit]

Очень интересно! А скажите, Авито входит в число "сложных" сайтов для парсинга?

[@MaximKulgin]

очень сложен

[@bennails3447]

Всегда интересно послушать, ставлю как подкаст

[@MaximKulgin]

:)

[@ИванИванов-я5э9к]

У вас выгода 23млн после выплаты всех ЗП, аренды серверов и офиса? Эта чистая прибыль, которую можно потратить на, например, масштабирование компании или новые направления?

[@MaximKulgin]

Да

[@maxedison9222]

Супер, коммент для продвижения !

[@MaximKulgin]

Спасибо 🙏

[@Joe_blood_egg]

Рад за вас, что рост оборотов на направлении парсинга. Вроде пару лет назад было совсем мало. Я смотрю давно, с другого акка

[@MaximKulgin]

Пока растём

[@JokeruleZify]

Спасибо рекомендациям Ютуба, очень интересно было послушать. Тем более, я и сам работаю дата инженером, сайты тоже приходилось парсить. Успехов вам, буду ждать новые видео о вашей деятельности.

[@MaximKulgin]

Спасибо 🙏

[@ALF_Lagom]

Что за дополнительный бизнес? В который вы вкладывайтесь?

[@MaximKulgin]

Clickfraud.ru

[@ДмитрийМашевский-и3к]

про рекламу и самооценку топ!!!!

[@sergey-v9k4m]

Если конкуренция в парсинге действительно большая, то почему на фрилансе ставят прайсы 3-5к за парсинг ресурса, в некоторых случаях за несколько ресурсов, это очень мало, за такие деньги хорошие специалисты и пальцем не ударят. Очень редко проскальзывают суммы 100к +, с такими клиентами можно работать, но по ощущениям в рф просто не сформировался рынок парсинга и эффективной работы с данными, компании пока сами не умеют и не видят value в спарсенных данных.

[@MrSoloveyko]

Так чем выше конкуренция тем ниже цены. А вне РФ индусы набегают и тоже цены в пол.

[@ВладиславГришин-ш7ш]

своя серверная? это электричество, охлаждение (кондеи ломаются), два ввода от разных провайдеров. Дизель генератор или поставщик который привезет гену "мгновенно". зимой приточку с улицы можно сделать, сильно понизит расходы на электричество

[@MaximKulgin]

У нас своя подстанция

[@skyilyas]

Поздравляю с увеличением оборотки. Успехов в следующем году! Вопрос: Сколько можно в день обходить урлов(количество сайтов) если парсить только title?

[@MaximKulgin]

100r

[@MaximKulgin]

100к

[@alexpopov6471]

Реально есть проблема с оплатой из-за границы за работу?

[@MaximKulgin]

Есть

[@alexpopov6471]

@@MaximKulgin взаимно зачёт. Зарубежный партнёр платит в страну х за границей. Российская фирма платит не за границу а фирме в России т. К на фирму х пришли деньги за границей.

[@leonidvishnevskiy1519]

Хороший контент, полезный.

[@MaximKulgin]

Спасибо

[@1153rus]

а что мешает открыть ооошку в условном Казахстане и по-белому заказывая у российской компании собственно техническое сопровождение принимать деньги со вссего мира так же по-белому в любой валюте

[@myev2421]

Честность

[@1153rus]

@@myev2421 и причем тут честность? совершенно честно проблемы с возможностью принимать валюту в РФ, а на КЗТ есть такая возможность, все по-белому

[@MaximKulgin]

да. скоро к этому придем

[@johngort764]

Казахстан не совеовал бы, скоро могут во вторую Украину превратиться

[@ichthyandr]

Для аккредитации не обязательно иметь продукт, можно и просто услуги. Я получил без проблем, обычные услуги на 1С и консультационная деятельность.

[@MaximKulgin]

А как думаете услуги Парсинга можно аккредитировать?

[@ichthyandr]

@@MaximKulgin Это ИТ-услуги, значит можно. Единственное что часто проще новое юр. лицо под это дело сделать, так как у уже существующих довольно много ограничений.

[@iiiseriii20091]

Как вы расчитываете сумму которую должен платитьт клиент?

[@MaximKulgin]

По трудозатратам на парсинг

[@sergonix1]

@@MaximKulgin Максим, подскажите, пожалуйста, если программист оценил парсинг в месяц работы. И например месяц его работы для упрощения стоит 75 тысяч рублей. Вы ставите цену клиенту 100 тысяч рублей? Тогда 25% прибыли как раз получится? Или там еще много всяких административных расходов и вы ставите клиенту цену 75 * 2 = 150 тысяч рублей, тогда за вычетом всех расходов получается 25% прибыли? Не поделитесь, какую зарплату нужно платить программистам по парсингу? Если нет, то не страшно ) И вопрос, можно ли имея достаточный капитал и некоторый опыт в парсинге выйти на выручку 37 млн за год, а не за три? Готов делиться с вами 10%-ми чистой прибыли за экспертные советы по наладке бизнеса, что-то типа франшизы, не думали об этом?

[@Sorrymelame]

@@sergonix1 Если прогер стоит 75к - сюда сразу +42% налоги за него надо платить если он официально оформлен (пенсионный, мед страх) + 13% ндфл = 100к + затраты на сервер ~2-5к ( в целом от задач зависит может и 15к выходить) + аренда офиса обычно 1м квадратный 700-1000р на человека надо минимум два + сюда от вида организации 6%-20% налоги гос-ву + твои 25% ты ещё хочешь заработать + 20% я всегда закладываю форс мажор = итого считай сам. Не претендую на точное описание ценообразования, но примерно оно такое, где ошибся поправьте. P.s. сеньор-помидор питонист ~220т среднняя зп )) P.s.s. а ещё эквайринг + услуги банков + бухгалтер

[@Sorrymelame]

@@sergonix1 "И вопрос, можно ли имея достаточный капитал и некоторый опыт в парсинге выйти на выручку 37 млн за год, а не за три?" Выручка != оборотка Ну изи же посчитать 28млн расходы дели на два - столько надо для старта ну и конечно же 37 клиентов по 1кк найти, привлечь, согласовать, подписать договора и сделать работу ) И всё это за один день )

[@mad-c4o]

Было бы круто узнать примеры. Хотя бы полностью выдуманные

[@MaximKulgin]

Полно примеров

[@karabasbarabas3942]

Обучением занимаетесь?

[@MaximKulgin]

Нет

[@maximsheleh9603]

Спасибо за видео

[@MaximKulgin]

Спасибоь

[@Nikolay19754]

Где вы делали рекламу?

[@MaximKulgin]

у нас нет рекламы

[@crazyprofessor1241]

Привет. Дай, пожалуйста, совет. Собираюсь войти в АйТи, интересна на перспективу тематика Парсинга сайтов. Какой посоветуешь учить язык? Я думаю между php или python

[@MaximKulgin]

Питон

[@mp_reports]

Парсит проще гошечкой тогда уж. Многопоточность из коробки

[@gorovitz]

@@mp_reports там затык не в производительности языка а в скорости интернета и БД.

[@ФедорГлумов-щ8р]

А чистая прибыль?

[@MaximKulgin]

мало :(

[@gontnetwork8851]

Если я напишу парсер Озона/Амазона (есть идеи) - вы у меня его арендуете?

[@MaximKulgin]

Да. Озон точно вопрос цены

[@gontnetwork8851]

@@MaximKulgin А сколько товаров/запросов в день выгружать нужно?

[@Лена-ч5м]

Какая цена? Скажите условия? Озон не тяжело

[@ДмитрийМашевский-и3к]

я 10 лет об этом думаю, никак начать не могу

[@egorkurilko2995]

Правило 80:20 никто не отменял )

[@MaximKulgin]

Так и есть

[@Nikolay19754]

Сколько вы потратили на рекламу?

[@MaximKulgin]

нисколько

[@Nikolay19754]

сказали в видео что много потратили, получается видео не соответствует правде@@MaximKulgin

[@MaximKulgin]

а... ну давно мы потратили 100к где то. выхлопа нет. пару лет назад. больше не тратим уже

[@_93_34]

Я посмотрел ваш сайт! И думаю что вы потеряли еще 30 миллионов) Заходя на сайт я задаю себе вопрос "Для чего мне это и как этим пользоваться", ответа так и не нашел.

[@MaximKulgin]

Уверен так и есть. Нам много что еще надо сделать

[@windus08]

29 ноября 2022 1 usd to rub 61.17 5 октября 2023 1 usd to rub 100.30 Выручка с 20кк до 37кк🤔

[@MaximKulgin]

мы же в рублях живем.

[@windus08]

​@@MaximKulgin скорее в долларах номинированных в фантиках от цб

[@Ostap..Bender]

Это пока, они как фантики выглядят. Просто немного подожди))

[@AlexeyPetrov9212]

Максим, приветствую! Глупый вопрос :) Зачем тот же озон, например, защищается от парсинга? Чего они так бояться, как вы думаете?

[@eprst0]

Вайлбериса боятся

[@AlexeyPetrov9212]

@@eprst0 в каком плане? Бояться, что будет сервис вроде "сравните цену одинаковых позиций в маркетплесах" ?

[@Алексей-л6м1н]

Они все монетизируют

[@MaximKulgin]

Они же данные продают сами

[@AlexeyPetrov9212]

@@MaximKulgin Видимо, в каком то очень узком кругу продают. Ценник таков, что выгоднее платить тем, кто парсит озон, чем самому озону? Просто прикидываю риски занятия этим делом. Допустим, поручу своим ребятам написать парсер озона, напишут, потом поддержка. Наверняка ченить будет меняться со временем - структуру html поменяли, селекторы переименовали, прокси стали лучше вычислять и.т.д. - надо сидеть и следить за этим постоянно. Еще и придумать, как понять, что что-то не так - не факт, что это сразу, на глаз будет очевидно. И если озон через условную неделю вдруг скажет "а мы теперь сами все продаем за 3 копейки, из первых рук" - все коту под хвост. Вот и пытаюсь понять фундаментальные причины, почему они этого не делают сейчас в открытую, хотя спрос, вроде как, есть.

[@ant3413]

Здравствуйте, без денег можно будет попробовать себя в этом деле ?

[@MaximKulgin]

Да

[@PushkaryovVsevolod]

тяжёлая эта работа, и постоянный движ....

[@pavel3657]

ладно, я готово научите парсить.

[@Sorrymelame]

А я знаю как в разы сократить оплату серверов. Прям ждал этого момент когда автор скажет, что сервера сжирают очень большую часть прибыли + прокси скорее всего. Ибо гавнокод!)

[@MaximKulgin]

:)

[@Surf391711]

Canvas придэ, шухер неведэ 😂

[@spectehnika78]

Заказчик профессор?

[@MrCortc]

6:49 Валера! Настало твое время!

[@MaximKulgin]

валера? :)

[@Игорь2060]

Хз какая там защита у озона...пару недель назад парсилось без проблем... П.с. если нужен парсер озона пишите)

[@gontnetwork8851]

А сколько товаров? Можно ли 1 млн скачать без бана?

[@yalmeme]

@@gontnetwork8851 зачем тебе 1 млн товаров озона можно пример? )

[@Игорь2060]

@@gontnetwork8851если сроки не жмут то это вообще не проблема...а если необходим миллион, к примеру, в день то задача трудно выполнима. Чтобы выполнить все известные мне задачи миллион не нужен.Зачем вам миллион, если не секрет?

[@lll7855]

чтобы получить клиентов на парсинг, надо подробно объяснить что он из себя представляет и чем полезен. В примерах. ВОт кто-то продает носки, чтобы их продать больше - можно сделать то и то, это даст то и то, и стоит столько-то.. А так обыватель не знает даже как задать вопрос и считает что это стоит миллионы..

[@MaximKulgin]

я понимаю, но пока не получается

[@gontnetwork8851]

Репрайсеры всех мастей - очевидный клиент. А т.к. больших репрайсеров в РФ нет - вот и покупают частный парсинг.

[@1968.5]

не доверяю я людям, которые находят "золотую жилу", а потом стоят и тряпками машут - все сюда, тут бабла на всех! Значит либо жила говно, либо труда там уйдет на подземную добычу с непредсказуемым результатом

[@MaximKulgin]

Вы сюда не ходите :) здесь плохо 😞

[@1968.5]

@@MaximKulgin ни за фто!

[@MaximKulgin]

отлично :)

[@TheHamsterJourney]

с какой головы вообще эта цифра ? да и сайты уже уходят в прошлое потихоньку

[@MaximKulgin]

куда уходят?

[@abrakadabra7491]

Сейчас сайтов на планете больше 2 млрд, и их количество из года в год растёт. Кстати, в августе 1991 был всего 1 сайт...

[@dimafilatov8687]

Ээээ ты чего ругаешься так? И даже не запикал. Можно было в краце сказать что такое парсинг кто первый раз смотрит. Окей гугл что такое парсинг?

[@Nikolya_0101]

Парсеры это те, кто ботами грузят сайты?

[@MaximKulgin]

Да

[@Cute-Musk-Ducks]

Ещё один взрослый мужик который разговаривает с камерой. :) шу чу:)))

[@MaximKulgin]

:) с возрастом приходит :)

[@TheShtroborez]

Я тоже люблю трындеть с дивана: выручка сто тыщ мильенов, куча клиентов, деньги девать некуда и прочая живность. А показать бухгалтерскую отчётность? Данунах! И так сойдёт...

[@bikeonoor4006]

Водаааааа.

[@ВолодяЕгоров-у1р]

Капец Вы ушлые, вот кто мои сайты копирует... 😔

[@MaximKulgin]

:)

[@eujc9009]

Это владелец Озона пишет? )

[@AlexBat-r5k]

Не понимаю кто может покупать этот парсинг

[@MaximKulgin]

крупные компании

[@AlexBat-r5k]

@@MaximKulgin околокриминальные и нелегальные? ))

[@AlexBat-r5k]

@@MaximKulgin хочу написать API с 1с на GigaChat от сбера. У вас кстати получилась эта тема?

[@johngort764]

@@AlexBat-r5k Например вот кто: Маркетологи собирают информацию об объемах продаж, выявляют долю полки, узнают категорийный спрос и другие показатели позволяющие прогнозировать продажи; Продукт-менеджеры собирают информацию об изменении метрик продукта, проводят A/B тесты, меряют статистическую значимость; Аналитики мониторят изменение цен конкурентов; Разработчики наполняют интернет-магазины контентом оптовика и автоматически обновляют цены; SEO-специалисты узнают заполнены ли все метаданные, H1, Title, Description, анализируют наличие несуществующих страниц показывающих 404 ошибку, выявляют ключевые слова; Управленцы производственных компаний следят за тем, чтобы партнеры не демпинговали и получают бизнес показатели; Для частных целей можно собрать коллекцию рецептов, уроков или любой другой информации, которую нужно сохранить для личных целей. Этого достаточно?)

[@vladsvd1988]

​@@AlexBat-r5k Вы когда товар на рынок выводите (и ваш товар не уникален), вам надо поставить конкурентную цену на этот самый товар, и поставлять этот товар вы собираетесь на всю страну. Как это сделать? Ну посмотреть цены на этот товар во всех регионах страны. Можете сами это сделать потратив свое время, а можете обратиться за сбором цен, да, страшное слово парсинг, это и есть в 90% случаев сбор цен на группы товаров. Такой "парсинг" бывает и в офлайне, когда люди проходят по магазинам с камерами и снимают ценники. Это основа торговли

[@eprst0]

Ии еще не научились парсить?😢

[@MaximKulgin]

Нет

[@xander-on-the-earth]

У ИИ нет креатива, и он вообще не понимает, что делает. Это просто способ решить несовместную систему уравнений за счет огромного количества данных. Математические модели, разумеется, разные: от рисунков до вставок программного кода - но суть одна. Составить сжатую информацию на основе каких-то данных - отлично! Углядеть зависимости, которые человек никогда не заметит - отлично! Шаг в сторону, где надо проявить смекалку - всё, приехали.

[@sergey-v9k4m]

Зато ИИ может потом составлять отчет и аналитику по спарсенным данным :)

[@mafiakaddafi1551]

Похоже на какой то чес и блаблабла, если честно, любой школьник при желании сеофрогом из под гугл бота обойдет половину защит , добавит пару экстракторов готовых и выгрузит любую дату в каком угодно формате и при желании экспортирует куда надо... Датацентры они собрались строить... Не ссыте людям в уши, вася и артем 😂

[@MaximKulgin]

Вы большой молодец 👍

[@cafeterra1093]

37 млн и диван из Икеи за 20.000.

[@MaximKulgin]

Дивану лет 8. Купили когда открыли фирму

[@cafeterra1093]

@@MaximKulgin а срок службы дивана?

[@transprodukt]

Оч приятный рассказчик

[@MaximKulgin]

Спасибо бро

[@Юрченко_Илья]

Херню какую то несет уже несколько лет? чего парсинг? Кому он нужен?

[@MaximKulgin]

Вам не нужен