Что такое парсинг? Сделал парсер сайта циан

[@biznes-plan]

Дополнительный модуль по аналитике: kzbin.info/www/bejne/p4HafqJ8g9qse5o

[@pavel_pereverzev]

Тоже сейчас делаю парсер для циана. Сперва хотел просто сделать тепловую карту цен по стоимости жилья в Питере и на данном этапе было все довольно относительно просто. Имитировал открытие bbox-ов на карте (участков карты, ограниченную координатами) и вытаскивал оттуда доступные данные: координаты объекта, тип, цена и cian_id. Вместе с ThreadPoolExecutor на весь Питер данные выгружались за 4 секунды. Позже возникла задача по сбору телефонов для каждого объекта. И тут все могло бы быть элементарно, если бы не особенность циана отбрасывать запросы через питоновский requests, а при использовании selenium запрашивать капчу каждые 100-200 раз при открытии объявлений... Возможно, эту штуку они внедрили недавно. Кстати, те таблички xlsx у меня почему-то одни и те же по содержанию вне зависимости от того, на какую страницу перейдешь.

[@alexanderermakov9797]

А можно на код посмотреть?

[@ДмитрийВетров-х5ю]

Привет, чем пользуешься для паркинга?

[@biznes-plan]

Приветствую) это самописная программа на python. В интернете много бесплатных версий и открытого кода, но они не работают. Пришлось написать свою)

[@maximryabchikov4783]

Есть база winner, разве это не готовая информация по ценам на недвижимость?

[@krystlecarrington5485]

Как Вы обходили капчу?

[@biznes-plan]

Я имитировал действия пользователя для сайта с помощью библиотеки Selenium. Этот парсер писал на python, но библиотека существует для разных языков. Поэтому капча не возникала.

[@pavel_pereverzev]

@@biznes-plan сейчас появляется

[@Mr.freemaan]

оо) часы правильные у Вас)