Парсим данные вконтакте. Что такое API? Программируем на python. Как спарсить данные через API?

Как спарсить данные с вконтакте? Как устроен API?
Узнай в этом ролике!
В этом видео мы создадим парсер данных группы vk по последнему слову техники!
Для работы мы используем язык Python, библиотеку requests и официальную документацию dev/manuals.
Поддержать Murrengan монетой💋:
www.donationalerts.com/r/murr...
Сделай Свою Часть💪🏻!
Если тебе интересно узнать, как сделать сайт, как стать программистом, с чего начать свой путь в IT сфере или просто хочется ламповости - добро пожаловать!
Open source пацаны
Не забудь поставить лайк 💗 и подписаться!)
Murrengan.
Связанные видосы:
Классический парсер: • Video
Основы GitHub: • Git и GitHub: основа д...
Вся тусовка тут:
► Vk: murrengan
► Twich: / murren_egor
► Telegram: t.me/MurrenganChat
► GitHub: github.com/Murrengan
#python #парсер #программирование #django #api #apivk #python3 #django2 #qa #selenium #murrengan #sql #sqlite #войтивит #вербразработка #html

[@user-gm6to7iz6v]

Отличный видос! Все по делу, без воды и с юмором! Лайк однозначно, ты красава!

[@solotoo2854]

Прекрасный урок, спасибо. Легко заходит.

[@user-fp4ch1lg3j]

Полезно， без воды， даже ускорение скорости не пришлось включать))) все понятненько， большое спасибо!!

[@Murrengan]

ахахаха=)) Про ускорение очень четко подметил =) Благодарю!

[@cptn_rokit]

Прям дали толчок к пониманию API. Спасибо

[@Murrengan]

рок-н-ролл =)

[@tblba_majlb4ukqwerty57]

​@@Murrengan😊йбollk7k+😮😅😅😮😮😮OK😮yeah 7😅💋💋 2:38 😊 2:39 😅 2:39 to😅 2:40 2:40 2:40 😅 1:51 û EET Thu😅0777😮😅😊xzdzcb,'p TDs 9 😢

[@designecca]

сделай камеру снизу, а то не всегда видно что вставляешь в строку браузера

[@okoloboga-37]

Класс, спасибо большое. Хоть ВК и быстро развивается и прошло 5 лет, но эта база до сих пор актуальна.

[@dmitry5973]

Спасибо, очень помогло. Отличная инструкция )

[@user-er4gs2gq1c]

Понимаю, что видео вышло давно, но мне как никогда оно было полезно) Будет супер, если про парсинг и вывод данных от Vk будет больше контента

[@annachezganova5548]

Здорово, спасибо!) Предстоит для курсовой использовать парсинг вк, очень помогли

[@vitaliiseptember266]

Супер КАЙФ!и супер доступно объясняешь! Респект!

[@Murrengan]

Да пребудет с тобой сила 💪!

[@QwertyQwerty-xy9qy]

Спасибо за видос, очень редко действительно приятно слушать человека

[@Murrengan]

😘

[@man.faktit]

Спасибоза видео, это именно то, что было нужно

[@user-xm1sg3rb1u]

Спасибо ,друг ! Удачи тебе , не болей и будь счастлив.

[@Murrengan]

сяп

[@NickJ953]

Спасибо, Мурренган!

[@Murrengan]

Да пребудет с тобой сила! =)

[@prospereauriga]

Просмотрел около половины. Пишу комментарий в поддержку канала и автора. Очень понравилось, что автор подробно описывает, что делает и для чего. Для чего и в каком месте ставит брейкпоинт, запускает дебаггер, что смотрит, для чего какие переменные вписывает и т.д. Хороший канал!

[@nineseven-nn5vw]

посмотрел меньше половины, он рыгнул, я испугался и вышел

[@lizavetik803]

Спасибо за это видео! Я начинающий пользователь питона, но всё поняла. Супер!

[@user-wh5qp5dr2g]

Хороший контент! продолжай в том же духе! Без лишней и бесполезной информации. Четко

[@Murrengan]

Благодарю! Да пребудет с тобой сила!

[@user-on7pw9oe4c]

Ништячково объяснил, спасибо!

[@olgaloschakova963]

Это гениально! Спасибо за отличное видео!

[@Murrengan]

Пожалуйста!

[@Mio-ev2iz]

Вы очень понятно объясняете, спасибо Вам!

[@Murrengan]

пожалуйста =)

[@gaben_aTan]

Годнота. Всё работает !!! :)))

[@user-om5cq2yg6j]

Спасибо , за мотивацию в программирование

[@Murrengan]

Да пребудет с тобой сила! =)

[@svetogor777]

Спасибо большое, урок очень крутой!!!!

[@Murrengan]

пожалуйста! да пребудет с тобой сила

[@NETRUNER1]

Полезный видос. СПС

[@DAZouk_NN]

Красавец! Первый работающий мануал!

[@Murrengan]

😘

[@pashahous]

Спасибо, очень подробно и наглядно)

[@Murrengan]

Пожалуйста! да пребудет с тобой сила! =)

[@andrewanischenko481]

Отличное видео.

[@Aseemxan]

Красавчик, спасибо большое!!!!

[@Murrengan]

заданать мне, было бы неплохо =)

[@awdv1891]

Как обычно Егор топчик, спасибо за матерьял.)

[@Murrengan]

ю а велкам =)

[@user-iz1rt5pj4u]

Большой палец, коммент - все как просил, братан :)

[@Murrengan]

=*

[@nonamenoname3601]

Хорошое видео, чётко и по теме!

[@Murrengan]

Да пребудет с тобой сила! )

[@user-pr1sc2kg9f]

Спасибо братан за видео)

[@Murrengan]

ю а велком

[@phonkabuser3985]

твой канал настоящая находка

[@Murrengan]

Да пребудет с нами сила! =)

[@Vladimir___M]

Спасибо, очень помогло!

[@Murrengan]

пожалуйста =)

[@dendisega1675]

молодец, продолжай дальше

[@GENZEKIRILL]

Попробовал я переписать немного изменив, в твоем коде главная проблема заключается в том, что вне зависимости от количества желаемых мною постов у тебя минимум скачается значение offset. Это не наезд, но вот такое замечание. Просто представь что нам нужно скачать ну скажем 20 постов? А потом резко так 1200, и для этого придется каждый раз менять значение сразу 3-х переменных просто чтобы это работало. Буду рад если ты сможешь как то подкорректировать код и подсказать как исправить эту проблемку.

[@EvgeniySakharov]

Ре ку эс сэ тэ сэ! 😀😀😀 Сильно сказано.

[@user-xb4zt1jc5b]

На 2 минуте поставил лайк и подписался

[@Murrengan]

Добро пожаловать!)

[@gaben_aTan]

Спасибо за ролик, несколько прог написал по вашему видео. Автор жаль видосы по программированию не пилит 😢

[@RaptorT1V]

Спасибо за гайд! Хоть я и час в этом разбирался, а не 15 минут, которые длится видео, зато понял всё. Всем советую посмотреть на финальную версию кода, ибо автор "втихую" кое-что да кое-где исправлял и менял. И невнимательный пользователь может на этом крупно попасться. Исключение в конце пишите, как и автор.

[@Murrengan]

втихую)

[@user-xe2jk5ui2d]

Какой ещё братан. Тебя и девушки смотрят )

[@Murrengan]

Девушки это не братаны?)

[@user-xe2jk5ui2d]

@@Murrengan неее это ситстер или сестры или систрики ... Или ... Или... Не знаю но точно не бро. Бро это малтчики

[@user-un5ow6xg8y]

@@user-xe2jk5ui2d Спасибо, бро)

[@user-xe2jk5ui2d]

@@user-ey7rd9ih4g люблю я коментарии на ютуб когда мне отвачают спустя год или 4 и 6 лет а я не понимаю про что вообще тут речь

[@user-xe2jk5ui2d]

@@user-ey7rd9ih4g тогда пошли сейчас приготовлю тебе 2 яйца и сосику =)

[@user-kg9zk2hm5u]

Отличный урок!!!

[@Murrengan]

эты ты отличный урок!

[@grufilm]

Бро ты меня спал в два ночи! Я через ноду конешь делал, но ты прям помог ) Я чёт затупил с этим приложением )

[@Murrengan]

Спасибо дорого) Заходи на стрим сегодня)

[@user-nq5yh5re4w]

бро очень крутой видос , с меня лайк , но как спарсить посты не с одной группы а со списка групп? нужно как то получить на них ссылки , и перебрать в цикле?

[@arman4chok]

вопрос 🎉а если надо сделать два запроса внутри response. Например count и items 🤔есть способ подняться на уровень выше из запроса items, чтобы получить доступ к count? нууу чтобы не делать два разных запроса.

[@codewinter7392]

Круто!

[@Magomedus1522]

Очень полезное видео, жаль что не столь популярно, желаю тебе популярности!

[@Murrengan]

сенкс =)

[@takiekakmi7532]

Орнул с пояснений)

[@CaesarFTPR]

Комментарий для продвижения канала. На самом деле очень крутое и полезное видео

[@Murrengan]

благодарю! =)

[@MrRosSerg]

Спасибо за видео. Лайк в копилку и комментарий, как и просил. Наверное, более верным будет в функции take_1000_posts указать offset += count, т.к. реально мы запрашиваем count записей, которое в будущем может отличаться от 100

[@Murrengan]

благодарю =) да: как вариант можно и так

[@tovarischduraley]

Просто гений от гения!!!

[@Murrengan]

😘

[@user-dz2jy4oh5n]

Тем у кого выдает ошибку про кодировку посвящается: дописать в строке encoding='utf8': with open('fit4life.csv', 'w', encoding='utf8') as file:, т.к по умолчанию windows-1251

[@Murrengan]

гуд джоб

[@BOTNET1]

Спасибо, хорошее видео.

[@Murrengan]

сяп

[@bandyco]

kzbin.info/www/bejne/d32ceZanZpqFa9U

[@LuaNaZakaz]

Спасибо. Полезно

[@Murrengan]

пожалуйста

[@user-vi8js7bs4s]

Круто, жаль что преподы так не объясняют. После твоего видео сразу понял как выполнить перепост записей с одного паблика на другой. Спасибо тебе большое! А ведь я зашел на твой канал только из-за видоса, где ты включал видосы с тян и тут понеслась...

[@Murrengan]

Пожалуйста бро! Да пребудет с тобой сила )

[@kleget]

Можно как-то с тобой связаться? Мне интересен перерепост записей с одного паблика на другой, очень надо.

[@cerdek9190]

Спасибо, очень помог, даже несмотря на то что я юзаю Flutter

[@Murrengan]

да пребудет с тобой сила =)

[@user-ve2ym4ue2u]

Написал, работает. Но я сижу на Windows 10 и закидываю словарь в excel. Он всё выводит в одну колонку. Как такое можно исправить?

[@user-tx3wc5pl5c]

круто)

[@Murrengan]

😘

[@alekseysh4310]

спасибо, понравилось

[@Murrengan]

Пожалуйста! =)

[@mindfulnessbeauty9175]

Познавательно )

[@Murrengan]

заходи на стримы

[@marinamarine5306]

Здравствуйте. Очень понравилось ваше видео, спасибо что все так понятно объяснили))) А как можно сделать так, чтобы картинки в один файл записывались, текст в другой?

[@Murrengan]

на моменте где ты обрабатываешь их - добавить доп функционал

[@supergorod]

Спасибо! Видос помог. У тебя в 42 строке будет возникать ошибка. Вот смотри, если сработает except, то переменна "img_url" создана не будет, а она нужна в 42 строке. Вообщем пиши еще видосы про парсинг соцсетей, но как можно детальнее. Как для ребенка

[@Murrengan]

ок =)

[@WaldemarB-wj1nq]

Круто, а есть же такая библиотека vk_api почему ее не использовал и можно ли было оформить все это в HTML файл например??

[@Murrengan]

Можно и то и то - главное желание)

[@Valstan1]

не расслышал ))) чо? милюзган? ))))) а видос отличный, большое спасибо!!!!!!!!!!!!!!!!

[@Murrengan]

😂

[@tom-os5ku]

Очень круто! Подскажите, пожалуйста, возможно ли сделать Парсинг по пользователям в группах?

[@Murrengan]

нет()

[@rugineer]

Неплохо, только аккуратнее с словами: all_posts - не словарь, у многих может быть разрыв шаблона.

[@Murrengan]

ахахха) Благодарю за внимательность - и правда заговорился)

[@gogaserg]

Круть

[@Murrengan]

😘

[@fanspresent7009]

отличный урок

[@Murrengan]

😘

[@user-rx7yt6qq6c]

супер.

[@Murrengan]

😘

[@user-ze2ln1dp4n]

шаришь , спасибо большое

[@Murrengan]

Да пребудет с . тобой сила! =)

[@xcodexcode6949]

очень интересн

[@Murrengan]

заходи на стримы

[@Taridonov]

Супергерой

[@Murrengan]

😘

[@user-xb7uu2ne8i]

четко

[@Murrengan]

Задонать мне - было бы неплохо =)

[@anastasiakunavina7828]

Здравствуйте. Подскажите, что происходит и как починить? Делала всё, как указано в видео, вылетает ошибка "Application authorization failed: access_token has expired". Проделала с той же группой, что и в видео,- работает. А с другой группой уже иначе. На момент создания комментария версия API 5.101

[@anastasiakunavina7828]

Если у кого-то такой же вопрос появился: сработало указать версию ту же, что и в видео и вписать её после "/wall.get?domain=домэйн&v=5.52", помогло курение документации.

[@Murrengan]

красава! =)

[@user-rw8om5ft4n]

Привет. Отличный видос, спасибо за твои труды! Будет ли видео о том, как парсить картинки/альбомы через вк api? В инете ничего толкового не нашел, вся надежда на тебя

[@Murrengan]

Идею взял на заметку, но быстрее будет самому в api покопаться =)

[@user-py2xx9mr3f]

Ляяя какой ты крутой :)

[@Murrengan]

😘

[@egorkhudyakov8764]

на 11 минуте, когда вводится while, 1 в 1 переписал код и выдает ошибку: {NameError}name 'data' is not defined. При чем до введения цикла все работает. Почему? А зачем здесь sleep?

[@Murrengan]

Глянь через дебагер с самого начала. Что-то где то не приходит

[@kamilm119]

What do I need to do when img_url raises UnboundLocalError: local variable 'img_url' referenced before assignment ? Should I insert global/nonlocal to variable somewhere? where exactly?

[@Murrengan]

copy my code line by line

[@kamilm119]

@@Murrengan I did, found a solution in the comments. Second question - why does the script download only part of the wall posts? I have a group which has 400+ posts and in csv I get approx. 280

[@dimontusgaming8362]

Спасибо . помог разобраться как посылать запросы на апи.

[@Murrengan]

Пожалуйста! =) Да пребудет с тобой сила!

[@user-mo4jd9sq4h]

Добрый день можешь помочь я написал парсир но когда проходит по пагинации до 5 странице нормально потом сайт сам обновляется на первую страницу когда парсер проходит по 6 той странице начинает выводить только первую страницу дальше не как подскажи как решить проблему. Куда скинуть код

[@Murrengan]

можно - за денежки)

[@Yes.Im.Mr.Anderson]

ССылка на классический парсер не работает. Удалена к сожалению. Есть возможность где то еще подсмотреть?

[@Murrengan]

нет - его забанили

[@user-nw9dx4fj9s]

При ошибке typeError попробуйте аргументы a_pen.writerow передать в [ ], a_pen.writerow(['likes', 'body', 'url']) мне помогло, может из-за того что модуль csv обновился я хз, сам новичок.

[@Murrengan]

четко

[@lafleur3683]

Спасибо, за урок! А как получить данные из конкретной темы обсуждения в группе вконтакте? Зачастую надо получить не стену, а, например, отзывы, которые и находятся в отдельном топике...

[@Murrengan]

ррр) заходи на стрим)

[@vita-la-curva]

А что, кстати, за ненавязчивый музончик на фоне? Где найти?

[@sectorsj]

Спасибо за видос! а можно снять видео по парсингу автомобильных сайтов, типа дрома

[@Murrengan]

суть примерна такая же будет)

[@sectorsj]

@@Murrengan а разбор текста по каким-либо категориям, установленным пользователем?

[@TheSuperGould]

Каким образом можно настроить такое удобное отображение json в структурированном виде (где ответ от вк на запрос) в debugger?

[@Murrengan]

в пайчарме выбираешь code -> reformat code

[@igoran9607]

Спасибо мужик, только у тебя нашёл примеры нормальные обработки json в питоне

[@Murrengan]

да пребудет с тобой сила!

[@Aleksandr_Izmailov]

Топчик

[@Murrengan]

😘

[@aniamanson]

Спасибо за ваши уроки! Только у меня почему-то спарсенные данные не записываются в файлик( а еще хотела спросить, как можно парсить по ключевым словам?

[@Murrengan]

Какую ошибку выдает? По ключевым словам не понял вопрос

[@aniamanson]

@@Murrengan в файл записывает следующее: likes;body;url 5;;pp.userapi.com/hiXtmmleKQSl1DB0qLtzN4_JCQehHO4SiCpAug/-HH3zOr-IP4.jpg

[@aniamanson]

@@Murrengan по поводу ключевых слов: как прописать, чтобы можно было получать посты только с определенными словами, типа креатин, жиросжигание и т.д.

[@aniamanson]

@@Murrengan могу я скинуть вам свой код на проверку? я изменила метод на search и добавила query к словарю params, но где-то ошибка

[@aniamanson]

@@Murrengan import csv import requests def take_posts(): token = 'cc43febfcc43febfcc43febf6fcc2903e6ccc43cc43febf90bafff932fd3f1f213bddc8' version = 5.95 domain = 'vershkoff_ru' count = 100 offset = 0 all_posts = [] while offset < 150: response = requests.search('api.vk.com/method/wall.search', params= { 'access_token': token, 'v': version, 'domain': domain, 'count': count, 'offset': offset, 'query': 'студия акция', }) data = response.json()['response']['items'] offset += 100 all_posts.extend(data) return all_posts def file_writer(data): with open('vk_parsing.csv', 'w') as file: a_pen = csv.writer(file, delimiter=';') a_pen.writerow(('likes', 'body', 'url')) for post in all_posts: try: if post['attachments'][0]['type']: img_url = post['attachments'][0]['photo']['sizes'][-1]['url'] else: img_url = 'pass' except: pass a_pen.writerow((post['likes']['count'], post['text'], img_url)) all_posts = take_posts() file_writer(all_posts)

[@user-uu7xc3rp9t]

Привет! Каким дополнением пользуешься для перевода слов?

[@Murrengan]

Rememberry - тулза от хрома =)

[@paleface_brother]

@@Murrengan спасибо, пользуюсь Оперой, заодно узнал, как установить в ней плагин от хрома.

[@someone_music]

Расскажи про библиотеку CSV в следующий раз, пожалуйста

[@Murrengan]

А что конкретно может быть интересно?

[@user-sr6je8zm9u]

спасибо

[@Murrengan]

ю а велком

[@user-se1fd3lc4x]

Здравствуйте! Хочу выучить Python, чтобы кодить интересные проекты (как ваш, например), не сказал бы, что ставлю цель стать разработчиком и работать в IT, но в дальнейшем было б интересно изучать также машинное обучение на python и писать ботов в вк(например) , мб вы могли бы посоветовать какие-то книги или курсы , спасибо! P.S Видео очень понравилось

[@Murrengan]

Благодарю! Посмотри курсы на курсере

[@drevo100]

На openedu.ru отличный курс по питону

[@user-uk7gx4gj3r]

Майкл Доусон "Программируем на Python"

[@user-se1fd3lc4x]

@@Murrengan смотрел курсы от МФТИ, но там первая неделя примерно такая: напишите лесенку, а вторая уже про декораторы и синтаксический сахар, которые в книжках - то не всегда встретишь (сейчас читаю Эрика Мэтиза)

[@user-se1fd3lc4x]

@@drevo100 программирование и разработка веб приложений ? кстати, да , спасибо

[@tarque_]

топовое видео

[@Murrengan]

мурр =)

[@tarque_]

@@Murrengan а когда стрим?

[@Murrengan]

практически каждый день в 21:00 по мск в телеге все обьявления)

[@tarque_]

@@Murrengan ты так хорошо обьясняешь)

[@Murrengan]

😘

[@mrrob2104]

Спс буду учиться

[@Murrengan]

да пребудет с тобой сила💪

[@user-dl4xo7gb5v]

Ох тыж ) фит фо лайф. Дэнчик Борисов

[@Murrengan]

он самый ) только группа заброшена (

[@user-ik5hn2hi8d]

you are master

[@Murrengan]

ths

[@user-yt9bd2bb8p]

Спасибо

[@Murrengan]

пожалуйста😘!

[@timuris5820]

Как называется расширение авто-перевода? (Wall-стена, было в видео)

[@Murrengan]

не могу найти его =(

[@user-kg7ju3fh5y]

Приветствую, такой вопрос а больше одного сообщества в скрипте можно парсить?

[@Murrengan]

можно