Николай Голов - Моделирование потоков событий в эволюционирующем окружении

Подробнее о конференции SmartData: jrg.su/aTWU2K
- -
Скачать презентацию с сайта SmartData - jrg.su/KLHQok
Представьте, что вы должны работать с потоком событий из внешних систем (кликстрим, веб-хуки и т. п.). Событий сотни и тысячи, формат каждого события отличается и со временем эволюционирует. Как организовать хранение и использование этих событий в аналитике, чтобы не утонуть в нюансах? Нормализация? Или хранение JSON? Что выбрать?
Спикер описывает сложности, альтернативные пути решения, их плюсы и минусы и представляет гибридный подход, объединяющий элементы разных подходов. Также в докладе немного статистики по использованию этого подхода в Snowflake на десятках млрд событий.
#modeling #eventflow