№411 - ~800 млн. рублей на парсинге открытых данных и анализа СМИ. Завидуем вместе :)

Еще больше и чаще пишу в канал t.me/bezsmuzi - подписывайтесь.
За короткое время трижды обсуждал проекты связанные с анализом СМИ. На мой взгляд - просто крутейшая тема, которая будет востребована еще очень долго. Поделился опытом и потребностями потенциальных заказчиков.
00:00:00 Парсинг открытых данных
• Идея использования парсинга для анализа упоминаний брендов и технологий в открытых источниках.
• Крупные компании готовы платить миллионы рублей за такую информацию.
00:05:31 Бизнес на парсинге
• Выручка компании "Бренд Аналитикс" составляет 800 млн рублей.
• Парсинг 60 000 источников, посещаемость сайта 400 000 в месяц.
• Рынок парсинга гораздо больше, чем для одной компании.
00:08:10 Преимущества парсинга
• Подписка на информацию, регулярная оплата.
• Обработка больших данных и анализ информации.
• Сложно повторить другим компаниям, но возможно.
• Множество источников информации: телеграм-каналы, СМИ, твиттер.
00:10:48 Бизнес на основе подписки
• Автор обсуждает возможность работы на международном уровне, используя сервис, зарегистрированный в Киргизии.
• Он также упоминает о необходимости маркетинга для продвижения сервиса, но не знает, как это сделать.
00:11:45 Развитие команды и подход к работе
• Автор волнуется о том, как начать развивать эту идею и какую команду выделить для этого.
• Он считает, что это может быть перспективным направлением, но их подход заключается в том, чтобы сначала получить заказ, а затем постепенно развивать его.
Наши проекты:
Защита от скликивания рекламы clickfraud.ru
Мониторинг цен конкурентов xmldatafeed.com/
Разработка мобильных приложений notissimus.com/
Мне можно писать вопросы здесь: t.me/maximkulgin

[@user-yy7cx8mw5y]

.... Про возможность создания подобного сервиса, года 4-5 назад, отправлял вам вопрос. Вы коротко, иронично ответили: - зачем? Ведь есть Яндекс и Гугл))).

[@V0ST0K]

У Интерфакса уже тогда был скан.

[@V0ST0K]

У Интерфакса уже тогда был скан.

[@evgenyfisenko]

обложка играет роль 100%, быстрее замечаю ваши ролики. бабки потрачены не зря! Ролик не смотрел, зашел коммент написать :)

[@MaximKulgin]

Спасибо 😉

[@maximsheleh9603]

полностью противоположная ситуация... превью отталкивает, ролик зашел

[@evgenyfisenko]

@@maximsheleh9603 а почему? Поделитесь, пожалуйста! Очень нужно мнение

[@LapshinLAB]

а Telegram API дают на каналах? для парсинга, я что-то не понимаю может

[@MagicMightNew]

Ура, снова про BA. Почему-то каждый раз радуюсь)

[@MaximKulgin]

ВА?

[@MagicMightNew]

@@MaximKulgin ну, brand analytics

[@alexfilus]

Интересное видео, но можно HDR отключить? Яркость глаза режет.

[@MaximKulgin]

ок

[@slavjansky]

Обложка топ😮

[@MaximKulgin]

спасибо

[@chukgeck07]

Ога, уже несколько роликов втирает нам про свои миллионные прибыли а собрать небольшой продакшн для роликов и видеомонтажа не может. Спустя несколько лет таких рассказов, дождались нормальной превьюшки. ))

[@slavjansky]

@@chukgeck07 за красивой картинкой вам к трансформаторам

[@azimutjava]

Капец там серверов надо

[@turbobroker]

Что может быть проще, чем спарсить фейсбук) час работы максимум... твиттер так вообще халява. А контакт просто на сдачу. Что-то можно и через апи, конечно, но вряд ли везде. Ашманов чем-то подобным занимается, он в каких-то из интервью говорил, сколько всего они за день парсят. У них это называется "управление репутацией". Это миллионы и миллионы данных в день. Под это дело надо десятки, а то и сотни тысяч аккаунтов. Тысячи проксей. Куки, сессии, и вот это вот всё. Это ещё не храним и запросы не делаем. И десяток тесл А100 до кучи, для начала.

[@gontnetwork8851]

1000 антидетект аккаунтов. Легко.

[@turbobroker]

@@gontnetwork8851а сто тысяч?

[@LapshinLAB]

твитер даёт API для парсинга

[@AlbertCartel]

Про маркетинг подобного сервиса интересно было бы послушать

[@MaximKulgin]

пока идей нет

[@Master_SheeFoo]

Особенно когда говорит: та на это нужно всего три человека, и через минуту уже рассуждает о крупной компании - да они могут выделить кучу людей, но на кой эти затраты нужны... Так таки 3 человека, или кучу людей нужно чтоб запилить проект? В общем история перспективы успешного успеха понятна.

[@rauflll]

Как будто поговорил с наставником по бизнесу, спасибо.

[@MaximKulgin]

Спасибо

[@sliniz]

Да, есть система аваланче. Который занимается Андрей Масалович

[@brs77]

Твиттер через Selenium парсил недавно.

[@user-xb7pr2ut7k]

Медиалогия же лет 15 назад такой сервис еще сделала.

[@user-uj5ol5fm1u]

Продвигать такой проект можно только путем оптимизации тематических страниц по ключевым запросам. создавая кластеризацию.

[@MaximKulgin]

да

[@DAHUME]

4:27 Вопрос в другом зачем им это нужно?

[@user-zd8ex8ys8g]

Да, интересно что такие костыли выростают до таких обортов, это к тому что как со сквозной аналитикой мп. Маркет плейс за день может развернуть всю свою аналитику и прибить рынок сторонних сервисов. Так и тут у Яндекса все это под капотом есть, то же видимо скоро для брендов сделает.

[@MaximKulgin]

100%

[@jimbolim888]

от ролика к роли ставки повышаются)) ждем "1 триллион в год на парсинге лендингов )))"

[@digertdoment4326]

Когнитивный диссонанс большая богатая фирма где работают тысячи лучших программистов закажет у маленькой команды студентов и самоучек😂

[@MaximKulgin]

Смешно ага :)

[@igorgolovanov2242]

Вполне реально.

[@igorgolovanov2242]

Всё решаемо.

[@nursultansultanov1838]

Кэмбридж аналитик слышали про такую компанию

[@surkiz]

Практически реинкарнация нашего Яндекс.Советника спустя 10 лет :) Макс, когда дойдете до этапа метчинга товаров между площадками - напиши мне, у нас лучшая ML команда по метчингу товаров, и не только в РФ. 🕶

[@MaximKulgin]

Ок !

[@abrachammitchell7856]

На хостинг будет просто уйма денег уходить. На этот бесконечный парсинг

[@MaximKulgin]

100%

[@vabolshakov]

Делали такой сервис ещё в 2018-2019 году

[@MaximKulgin]

Закрыли?

[@vabolshakov]

@@MaximKulgin piiq media, у них несколько продуктов, этот PIIQ Intel.

[@digertdoment4326]

И да у гугла есть агенты просто менеджеры нефтяных очень ленивые не изучают гугл😅

[@seorubl]

Не все СМИ выдаются в Google News, часть заблокированы.

[@domahes]

Язык жестов конечно... 😑

[@LapshinLAB]

для этой задачи нужен 1 человек, который программирует на гпт чате

[@spectehnika78]

Глаз Бога сделайте для би ту би. Я готов платить 20-30к в год.

[@MaximKulgin]

А расскажите детали - что это такое ? Как должно работать ?

[@yalmeme]

@@MaximKulgin глаз бога дает инфу по людям, кучу личных данных. это не законно.

[@kirillvlasov1131]

​@@yalmemeверно, не законно. Но не ясно почему? - т к все берется из открытых источников

[@yalmeme]

@@kirillvlasov1131 в том то и дело что глаз бога оперирует не только отрытыми источниками, но и базами типа ментовских и страховых - дает адреса, телефоны и тд, т.е. там по сути торговля приватными данными идет.

[@skipper3355]

Могу сказать что ChatGPT более грамотно работает с "парсингом" открытых данных )

[@bramduss]

парсить регулярно твиттер практически нереально. аккаунты, через которых будет идти парсинг, будут быстро баниться.

[@MaximKulgin]

там открытые данные же

[@bramduss]

@@MaximKulgin если вы заходите на сайт без входа в учетную запись, то вам твиттер не покажет все твиты интересующего вас аккаунта. Что-то останется закрытым. Т.е. не получится парсить актуальную информацию без учетки.

[@yalmeme]

@@bramduss ну, у твиттера так-то есть апишка если мне память не изменяет.