Парсим данные вконтакте. Что такое API? Программируем на python. Как спарсить данные через API?

[@cptn_rokit]

Прям дали толчок к пониманию API. Спасибо

[@Murrengan]

рок-н-ролл =)

[@tblba_majlb4ukqwerty57]

​@@Murrengan😊йбollk7k+😮😅😅😮😮😮OK😮yeah 7😅💋💋 2:38 😊 2:39 😅 2:39 to😅 2:40 2:40 2:40 😅 1:51 û EET Thu😅0777😮😅😊xzdzcb,'p TDs 9 😢

[@СветланаВасилевская-с5к]

Полезно， без воды， даже ускорение скорости не пришлось включать))) все понятненько， большое спасибо!!

[@Murrengan]

ахахаха=)) Про ускорение очень четко подметил =) Благодарю!

[@high_fly_bird]

класс - полезно, наглядно и дружелюбно) актуально и на 2024!

[@prospereauriga]

Просмотрел около половины. Пишу комментарий в поддержку канала и автора. Очень понравилось, что автор подробно описывает, что делает и для чего. Для чего и в каком месте ставит брейкпоинт, запускает дебаггер, что смотрит, для чего какие переменные вписывает и т.д. Хороший канал!

[@nineseven-nn5vw]

посмотрел меньше половины, он рыгнул, я испугался и вышел

[@okoloboga-37]

Класс, спасибо большое. Хоть ВК и быстро развивается и прошло 5 лет, но эта база до сих пор актуальна.

[@QwertyQwerty-xy9qy]

Спасибо за видос, очень редко действительно приятно слушать человека

[@Murrengan]

😘

[@designecca]

сделай камеру снизу, а то не всегда видно что вставляешь в строку браузера

[@marinaivanova5277]

Супер, спасибо за видео! Доступно и без воды. Пока смотрела, выгрузила 2000 постов для курсовой. (только у тебя там не словарь, а список, бро) (и да, девочки тоже смотрят)

[@АлександрКораблев-з2ч]

Отличный видос! Все по делу, без воды и с юмором! Лайк однозначно, ты красава!

[@Osio-ic5iu]

Благодарю, супер подача к пониманию парсера с помощью API !

[@Cammilla_Everdy]

Спасибо! Даже спустя 5 лет актуально!

[@man.faktit]

Спасибоза видео, это именно то, что было нужно

[@DAZouk_NN]

Красавец! Первый работающий мануал!

[@Murrengan]

😘

[@ideafix1989]

Понимаю, что видео вышло давно, но мне как никогда оно было полезно) Будет супер, если про парсинг и вывод данных от Vk будет больше контента

[@МихаилБулковский]

Тем у кого выдает ошибку про кодировку посвящается: дописать в строке encoding='utf8': with open('fit4life.csv', 'w', encoding='utf8') as file:, т.к по умолчанию windows-1251

[@Murrengan]

гуд джоб

[@Mio-ev2iz]

Вы очень понятно объясняете, спасибо Вам!

[@Murrengan]

пожалуйста =)

[@Magomedus1522]

Очень полезное видео, жаль что не столь популярно, желаю тебе популярности!

[@Murrengan]

сенкс =)

[@КириллДонченко-р9ш]

Спасибо ,друг ! Удачи тебе , не болей и будь счастлив.

[@Murrengan]

сяп

[@tovarischduraley]

Просто гений от гения!!!

[@Murrengan]

😘

[@СергейЧабан-ъ8ю]

Большой палец, коммент - все как просил, братан :)

[@Murrengan]

=*

[@АлександрСемёнов-я2э]

Хороший контент! продолжай в том же духе! Без лишней и бесполезной информации. Четко

[@Murrengan]

Благодарю! Да пребудет с тобой сила!

[@ПавелЯдыкин-г6я]

Спасибо , за мотивацию в программирование

[@Murrengan]

Да пребудет с тобой сила! =)

[@vitaliiseptember266]

Супер КАЙФ!и супер доступно объясняешь! Респект!

[@Murrengan]

Да пребудет с тобой сила 💪!

[@МарияМаятникова-у2л]

Какой ещё братан. Тебя и девушки смотрят )

[@Murrengan]

Девушки это не братаны?)

[@МарияМаятникова-у2л]

@@Murrengan неее это ситстер или сестры или систрики ... Или ... Или... Не знаю но точно не бро. Бро это малтчики

[@РусланТимченко-х1о]

@@МарияМаятникова-у2л Спасибо, бро)

[@МарияМаятникова-у2л]

@@МишаМихаил-ф7х люблю я коментарии на ютуб когда мне отвачают спустя год или 4 и 6 лет а я не понимаю про что вообще тут речь

[@МарияМаятникова-у2л]

@@МишаМихаил-ф7х тогда пошли сейчас приготовлю тебе 2 яйца и сосику =)

[@lizavetik803]

Спасибо за это видео! Я начинающий пользователь питона, но всё поняла. Супер!

[@GENZEKIRILL]

Попробовал я переписать немного изменив, в твоем коде главная проблема заключается в том, что вне зависимости от количества желаемых мною постов у тебя минимум скачается значение offset. Это не наезд, но вот такое замечание. Просто представь что нам нужно скачать ну скажем 20 постов? А потом резко так 1200, и для этого придется каждый раз менять значение сразу 3-х переменных просто чтобы это работало. Буду рад если ты сможешь как то подкорректировать код и подсказать как исправить эту проблемку.

[@annachezganova5548]

Здорово, спасибо!) Предстоит для курсовой использовать парсинг вк, очень помогли

[@МихаилМайоров-п2т]

Ништячково объяснил, спасибо!

[@solotoo2854]

Прекрасный урок, спасибо. Легко заходит.

[@awdv1891]

Как обычно Егор топчик, спасибо за матерьял.)

[@Murrengan]

ю а велкам =)

[@RaptorT1V]

Спасибо за гайд! Хоть я и час в этом разбирался, а не 15 минут, которые длится видео, зато понял всё. Всем советую посмотреть на финальную версию кода, ибо автор "втихую" кое-что да кое-где исправлял и менял. И невнимательный пользователь может на этом крупно попасться. Исключение в конце пишите, как и автор.

[@Murrengan]

втихую)

[@gaben_aTan]

Спасибо за ролик, несколько прог написал по вашему видео. Автор жаль видосы по программированию не пилит 😢

[@dmitry5973]

Спасибо, очень помогло. Отличная инструкция )

[@phonkabuser3985]

твой канал настоящая находка

[@Murrengan]

Да пребудет с нами сила! =)

[@EvgeniySakharov]

Ре ку эс сэ тэ сэ! 😀😀😀 Сильно сказано.

[@ВасилийТерентьев-ь9у]

Круто, жаль что преподы так не объясняют. После твоего видео сразу понял как выполнить перепост записей с одного паблика на другой. Спасибо тебе большое! А ведь я зашел на твой канал только из-за видоса, где ты включал видосы с тян и тут понеслась...

[@Murrengan]

Пожалуйста бро! Да пребудет с тобой сила )

[@kleget]

Можно как-то с тобой связаться? Мне интересен перерепост записей с одного паблика на другой, очень надо.

[@НуржанМадеев]

На 2 минуте поставил лайк и подписался

[@Murrengan]

Добро пожаловать!)

[@grufilm]

Бро ты меня спал в два ночи! Я через ноду конешь делал, но ты прям помог ) Я чёт затупил с этим приложением )

[@Murrengan]

Спасибо дорого) Заходи на стрим сегодня)

[@nonamenoname3601]

Хорошое видео, чётко и по теме!

[@Murrengan]

Да пребудет с тобой сила! )

[@NickJ953]

Спасибо, Мурренган!

[@Murrengan]

Да пребудет с тобой сила! =)

[@takiekakmi7532]

Орнул с пояснений)

[@gaben_aTan]

Годнота. Всё работает !!! :)))

[@supergorod]

Спасибо! Видос помог. У тебя в 42 строке будет возникать ошибка. Вот смотри, если сработает except, то переменна "img_url" создана не будет, а она нужна в 42 строке. Вообщем пиши еще видосы про парсинг соцсетей, но как можно детальнее. Как для ребенка

[@Murrengan]

ок =)

[@CaesarFTPR]

Комментарий для продвижения канала. На самом деле очень крутое и полезное видео

[@Murrengan]

благодарю! =)

[@olgaloschakova963]

Это гениально! Спасибо за отличное видео!

[@Murrengan]

Пожалуйста!

[@NETRUNER1]

Полезный видос. СПС

[@svetogor777]

Спасибо большое, урок очень крутой!!!!

[@Murrengan]

пожалуйста! да пребудет с тобой сила

[@Aseemxan]

Красавчик, спасибо большое!!!!

[@Murrengan]

заданать мне, было бы неплохо =)

[@ФагимКидрасов]

Отличный урок!!!

[@Murrengan]

эты ты отличный урок!

[@Мирнавкус-р2ч]

из за его камеры не видно пол ссылки

[@MrRosSerg]

Спасибо за видео. Лайк в копилку и комментарий, как и просил. Наверное, более верным будет в функции take_1000_posts указать offset += count, т.к. реально мы запрашиваем count записей, которое в будущем может отличаться от 100

[@Murrengan]

благодарю =) да: как вариант можно и так

[@andrewanischenko481]

Отличное видео.

[@rugineer]

Неплохо, только аккуратнее с словами: all_posts - не словарь, у многих может быть разрыв шаблона.

[@Murrengan]

ахахха) Благодарю за внимательность - и правда заговорился)

[@arman4chok]

вопрос 🎉а если надо сделать два запроса внутри response. Например count и items 🤔есть способ подняться на уровень выше из запроса items, чтобы получить доступ к count? нууу чтобы не делать два разных запроса.

[@Taridonov]

Супергерой

[@Murrengan]

😘

[@codewinter7392]

Круто!

[@ValstanSav]

не расслышал ))) чо? милюзган? ))))) а видос отличный, большое спасибо!!!!!!!!!!!!!!!!

[@Murrengan]

😂

[@ВладимирВермутов]

бро очень крутой видос , с меня лайк , но как спарсить посты не с одной группы а со списка групп? нужно как то получить на них ссылки , и перебрать в цикле?

[@igoran9607]

Спасибо мужик, только у тебя нашёл примеры нормальные обработки json в питоне

[@Murrengan]

да пребудет с тобой сила!

[@tarque_]

топовое видео

[@Murrengan]

мурр =)

[@tarque_]

@@Murrengan а когда стрим?

[@Murrengan]

практически каждый день в 21:00 по мск в телеге все обьявления)

[@tarque_]

@@Murrengan ты так хорошо обьясняешь)

[@Murrengan]

😘

[@pashahous]

Спасибо, очень подробно и наглядно)

[@Murrengan]

Пожалуйста! да пребудет с тобой сила! =)

[@АяжыХомушку]

Спасибо братан за видео)

[@Murrengan]

ю а велком

[@ДмитрийЖ-п8ж]

При ошибке typeError попробуйте аргументы a_pen.writerow передать в [ ], a_pen.writerow(['likes', 'body', 'url']) мне помогло, может из-за того что модуль csv обновился я хз, сам новичок.

[@Murrengan]

четко

[@ЛенаЕленина-я1ю]

Ох тыж ) фит фо лайф. Дэнчик Борисов

[@Murrengan]

он самый ) только группа заброшена (

[@user-tx3wc5pl5c]

круто)

[@Murrengan]

😘

[@Vladimir___M]

Спасибо, очень помогло!

[@Murrengan]

пожалуйста =)

[@TheNikita]

Можно сделать так: phone=input('Введите телефон: ') И проверить принадлежит ли телефон ,введенный в переменную phone, к какой нибудь странице ВК?

[@Murrengan]

маловероятно - придется парсить всех людей во всем контакте + не факт, что вообще телефон будет

[@TheNikita]

Ладно, но все равно спасибо

[@fanspresent7009]

отличный урок

[@Murrengan]

😘

[@mindfulnessbeauty9175]

Познавательно )

[@Murrengan]

заходи на стримы

[@BOTNET1]

Спасибо, хорошее видео.

[@Murrengan]

сяп

[@bandyco]

kzbin.info/www/bejne/d32ceZanZpqFa9U

[@cerdek9190]

Спасибо, очень помог, даже несмотря на то что я юзаю Flutter

[@Murrengan]

да пребудет с тобой сила =)

[@jurgenwulf6190]

Нужно больше парсинга, ну ты понял...

[@Murrengan]

😘

[@xcodexcode6949]

очень интересн

[@Murrengan]

заходи на стримы

[@ЮрийПолянский-и9ь]

круто, но я думаю лучше было бы сделать хранение данных через БД, снимай такие видео дальше, очень хорошо получается

[@Murrengan]

Благодарю! С бд идея хорошая

[@drevo100]

Да, сделай выгрузку в бд, только не в SQLite, а нормальную.

[@Murrengan]

@@drevo100 )))

[@dendisega1675]

молодец, продолжай дальше

[@КлараФранко]

супер.

[@Murrengan]

😘

[@РомаТютин-э8и]

четко

[@Murrengan]

Задонать мне - было бы неплохо =)

[@alekseysh4310]

спасибо, понравилось

[@Murrengan]

Пожалуйста! =)

[@LuaNaZakaz]

Спасибо. Полезно

[@Murrengan]

пожалуйста

[@tom-os5ku]

Очень круто! Подскажите, пожалуйста, возможно ли сделать Парсинг по пользователям в группах?

[@Murrengan]

нет()

[@marinamarine5306]

Здравствуйте. Очень понравилось ваше видео, спасибо что все так понятно объяснили))) А как можно сделать так, чтобы картинки в один файл записывались, текст в другой?

[@Murrengan]

на моменте где ты обрабатываешь их - добавить доп функционал

[@dimontusgaming8362]

Спасибо . помог разобраться как посылать запросы на апи.

[@Murrengan]

Пожалуйста! =) Да пребудет с тобой сила!

[@ВасилийГалкин-н9д]

Привет! Каким дополнением пользуешься для перевода слов?

[@Murrengan]

Rememberry - тулза от хрома =)

[@paleface_brother]

@@Murrengan спасибо, пользуюсь Оперой, заодно узнал, как установить в ней плагин от хрома.

[@ЯшаЗлобин]

Здравствуйте! Хочу выучить Python, чтобы кодить интересные проекты (как ваш, например), не сказал бы, что ставлю цель стать разработчиком и работать в IT, но в дальнейшем было б интересно изучать также машинное обучение на python и писать ботов в вк(например) , мб вы могли бы посоветовать какие-то книги или курсы , спасибо! P.S Видео очень понравилось

[@Murrengan]

Благодарю! Посмотри курсы на курсере

[@drevo100]

На openedu.ru отличный курс по питону

[@СергейИванов-ю3ш2в]

Майкл Доусон "Программируем на Python"

[@ЯшаЗлобин]

@@Murrengan смотрел курсы от МФТИ, но там первая неделя примерно такая: напишите лесенку, а вторая уже про декораторы и синтаксический сахар, которые в книжках - то не всегда встретишь (сейчас читаю Эрика Мэтиза)

[@ЯшаЗлобин]

@@drevo100 программирование и разработка веб приложений ? кстати, да , спасибо

[@minimaltune]

Ван хангрид постс))) тысяча а английский thousand

[@Murrengan]

рр))

[@max-burd]

Написал, работает. Но я сижу на Windows 10 и закидываю словарь в excel. Он всё выводит в одну колонку. Как такое можно исправить?

[@WaldemarB-wj1nq]

Круто, а есть же такая библиотека vk_api почему ее не использовал и можно ли было оформить все это в HTML файл например??

[@Murrengan]

Можно и то и то - главное желание)

[@gogaserg]

Круть

[@Murrengan]

😘

[@артурмагомедов-б9т]

шаришь , спасибо большое

[@Murrengan]

Да пребудет с . тобой сила! =)

[@someone_music]

Расскажи про библиотеку CSV в следующий раз, пожалуйста

[@Murrengan]

А что конкретно может быть интересно?

[@designecca]

на 14 минуте ты выбираешь самую большую картинку через [-1], но самая большая в том случае [-4]

[@Murrengan]

разве😮?

[@sectorsj]

Спасибо за видос! а можно снять видео по парсингу автомобильных сайтов, типа дрома

[@Murrengan]

суть примерна такая же будет)

[@sectorsj]

@@Murrengan а разбор текста по каким-либо категориям, установленным пользователем?

[@hronorog]

узорные скобки? так еще фигурные никто не называл ))

[@Murrengan]

ахаха)

[@cryptofrogich]

епался епался, оказывается ты в строке браузера из за вебки закрыл последнию часть запроса, допер сам после domain нужно было поставить & и запрос прошел, наверн не все потеряно у меня😀в некст раз убирай плс в какое ниб более удобное место вебку

[@MoscowMyLife]

Здравствуйте. Сделал, как в видео, ошибка, я из России. Виндовс 10 и Питон 3.7. Пытался 2 часа решить сам не до конца получается, нужен совет опытного человека) 1) Запускаю программу и пишет вот так: a_pen.writerow((post['likes']['count'], post['text'], img_url)) UnboundLocalError: local variable 'img_url' referenced before assignment А) Нашел решения вот такие: try: if post['attachments'][0]['type']: img_url = post['attachments'][0]['photo']['sizes'][-1]['url'] else: img_url = 'pass' a_pen.writerow((post['likes']['count'], post['text'], img_url)) except: pass Переношу строку выше except Б) Или вот так тоже начинает работать: a_pen.writerow(('likes', 'body', 'url')) img_url= ' просто создаю переменную пустую до цикла и тоже работает Так вот, почему у вас работает в видео а у меня только таким образом начинает работать? И какой из моих 2х вариантов правильный на ваш взгляд … 2) После того, как я починил - запись идет в csv файл, но только всё идет в 1 ячейку в строку, через запятую, а почему у вас в видео по разным ячейкам, несколько столбцов, а у меня всё в 1 столбце? Код проверил на 3 раза, он идентичен вашему. Буду благодарен за помощь …

[@Murrengan]

1. ты вызываешь img_url рашьне, чем определяешь. поработай через дебагерр и определи, где у она инициализируется и поставь ее перед записью в файлики. 2. очень странно, учитывая первый вопрос - проверь код повторно

[@MoscowMyLife]

@@Murrengan понял, спасибо. Нашел решение на вопрос № 2: a_pen = csv.writer(file, delimiter=';') - тут я добавил delimiter=';' и теперь по ячейкам разбитие есть красиво, а если не указать (как в видео) то почему, то у меня было все в столбце А :(

[@Murrengan]

💪

[@timuris5820]

Как называется расширение авто-перевода? (Wall-стена, было в видео)

[@Murrengan]

не могу найти его =(

[@vita-la-curva]

А что, кстати, за ненавязчивый музончик на фоне? Где найти?

[@ВячеславМельников-с7р]

Ляяя какой ты крутой :)

[@Murrengan]

😘

[@mrrob2104]

Спс буду учиться

[@Murrengan]

да пребудет с тобой сила💪

[@РусланМеретуков-ш4е]

Привет. Отличный видос, спасибо за твои труды! Будет ли видео о том, как парсить картинки/альбомы через вк api? В инете ничего толкового не нашел, вся надежда на тебя

[@Murrengan]

Идею взял на заметку, но быстрее будет самому в api покопаться =)