Moscow Python Meetup №89 Алексей Жиряков (кинотеатр KION) Обработка свыше 400М прод. событий в сутки

В KION в сутки поступает свыше 400 миллионов продуктовых событий (помимо технических). На основе этих событий продуктовые вертикали строят аналитику, следят за продуктом, принимают бизнес решения. Качество поступаемых данных критично важно. В докладе расскажу про весь pipeline событий, как мы их готовим для аналитиков и продактов.
Слайды: moscowpython.ru/meetup/89/kio...
Moscow Python: moscowpython.ru
Курсы Learn Python: learn.python.ru
Moscow Python Podcast: podcast.python.ru
Заявки на доклады: bit.ly/mp-speaker

[@trankov]

Вот я смотрю на Кионе фильм, через час ставлю на паузу, а мне показывает, будто я всего 10 минут посмотрел. И надо руками мотать туда, где я остановился. Экосистема! Инфраструктура!

[@anatolykosychenko8038]

Hi Ya & best wishes. SuperB! Thanks for work. Be Happy. Sevastopol/Crimea.

[@bfdhtfyjhjj]

Fastapi использует под капотом json для сериализации и десериализации, что при больших сообщениях очень сильно сказывается на производительности(занимает секунды). Мы заменили json на ujson и получили х10 прирост к скорости выполнения этих процессов. Благо Fastapi очень просто дает сделать эту замену

[@user-mg4gw7ot1o]

С orjson не сравнивали вроде бы по тестам orjson обгоняет ujson

[@trankov]

@@user-mg4gw7ot1o Зависит от того, что именно парсится, пару лет назад читал рисёрчи, характер структуры влияет на скорость в разных библиотеках по-разному. Может, конечно, что-то там уже поменялось с тех пор.

[@NiceDeadPet]

Зззззаиккаанияяя...