Пишем веб-аналитику на Go и Python c Redis. Выбор архитектуры, обзор инструментов и кода

Мой курс «Хардкорная веб-разработка» - course.to.digital
Книжный клуб Ботаним!, где мы читаем хорошие ИТ-книги: botanim.to.digital/
Telegram: t0digital.t.me
Сказать спасибо за это видео можно здесь - boosty.to/digitalize.team
Рассмотрим в этом выпуске реализацию несложной системы веб-аналитики на Go + Python с использованием in-memory базы данных Redis и, конечно, PostgreSQL. Поговорим об выбранном инструментарии, рассмотрим код и обсудим подходы к разработке.
0:00 О чем пойдет речь
1:02 Наши требования к системе веб-аналитики
2:20 RPS с Django, Fast API и Go серверами
3:41 Почему Redis? Обзор архитектуры
7:20 Смотрим код Go сервера
18:16 Смотрим код Python модуля
19:58 Выводы
/****************** about ******************/
Меня зовут Алексей Голобурдин, я программирую с 2004 года и на этом канале делюсь своим опытом. Я основатель и руководитель компаний:
- Диджитализируй digitalize.team, разрабатываем сложные IT системы для бизнеса;
- Salesbeat salesbeat.pro, комплексный модуль доставки для интернет магазинов.
Если у вас есть проект на разработку, пишите нам на [e-mail].
С другими предложениями, а также если вам нужна одна или несколько индивидуальных консультаций/уроков по разработке (3000 руб/час), пишите мне на [e-mail].
Telegram канал - t.me/t0digital
ВК - digitalize.team
RuTube - rutube.ru/channel/24802975/ab...
Дзен - dzen.ru/id/6235d32cb64df01e6e...

[@user-oi1zl6de8i]

Спасибо за то, что поделились интересным опытом.

[@georgeparhomenko8432]

Это свершилось! Специалист, который доходчиво объясняет и пишет на языке, который я люблю и использую в работе, использовал и показал как именно технологию, которая мне интересна и которую хочу изучить. Большое спасибо! Побольше бы роликов о таком взаимодействии этих двух технологий

[@t0digital]

Спасибо! Да, планирую делать материал и по Python, и по Go

[@evgeniykuts6756]

Ещё со школы помню правило, «кто ясно мыслит, тот ясно излагает» это про вас @Didgitalize

[@t0digital]

@@evgeniykuts6756 спасибо:)!

[@MaksimZhashkevych]

Привет! Если ищешь материал по Go, заходи ко мне на канал) Я недавно начал публиковать, но на очереди уже стоит огромное количество тем которые я буду раскрывать в дальнейших роликах)

[@user-td6vu1hh3y]

обожаю такие видосы с разбором практических кейсов, всегда что-то выношу для себя

[@t0digital]

Рад, что полезно!

[@miky7miky]

Ну наконец то, Алексей, ты добрался до Golang! Счастью нет предела! Ждем массы материалов по Golang, т.к. твои видео очень приятно смотреть! Именно не синтаксис и прочие неинтересности, а где и как его можно применить. Golang + RabbitMQ, Golang + Kafka, Golang + gRPC, Golang + QUIC и прочие интересные связки. Ну и решение каких-то практических задач с помощью Golang. В общем продолжай в том же духе! P.S. многие наверняка уже написали про panic :)

[@tankowot]

Очень круто, лойс, делай еще. Приятно смотреть и вникать!

[@andreysokolov2335]

Спасибо Алексей, ролик отлично помог моему пониманию "а в каких случаях/для чего/как" можно использовать Go c веб-проектами.

[@yan200go]

Спасибо! Хотелось бы больше подобных решений реальных задач

[@vladimirezh]

В golang не надо использовать panic, верни ошибку. Тем более без defer. Потом pattern matching в golang хорош, лучше перейти на него if-else глаз режет. Ну и я не понял зачем скрипт на удаве, можно запустить горутину и делать раз минуту то, что нужно для выгрузки в базу, тем более, что у таймера есть канал, в который приходит сообщение тика. Ещё бы я подумал над тем, что статистика с разными типами данных приходила в разные обработчики, тогда логика хендлера будет проще. А вообще молодец, что изучаешь и применяешь что-то новое)

[@killers512]

Что подразумевается под pattern matching в golang?

[@vladimirezh]

@@killers512 если просто, то switch в golang умеет много.

[@ievgenk.8991]

Какой в го паттерн матчинг?

[@fazamaza801]

Подписываюсь под каждым словом vladimirezh . Лично у нас на проекте panic вообще запрещено использовать. Сервис будет падать нонстоп. При старте main перед Serve и правда можно завести тикер (функция NewTicker из стандартной либы time) и стартануть отдельную горутину. Компилировать исходники лучше на всякий случай прямо на сервере или в докере в аналогичном окружении. WriteSuccessfullResponse / WriteUnsuccessfullResponse лучше вынести в defer, чтобы не дублировать. Не совсем понятно зачем из Find возвращать индекс, если при единственном вызове функции значение индекса игнорируется (_). Ну и switch, да. А вообще для практики проект прекрасный, однозначно лайк.

[@ievgenk.8991]

@@vladimirezh Уточни плиз, что switch может, я уже инет перешерстел и ничего интересного не нашел

[@troyhunter3586]

Очень круто) благодарю тебя !!!

[@Zermond]

За голенг лойс:) интересно смотреть ролики, когда с умом выбираются инструменты

[@t0digital]

Спасибо!

[@bpospanov]

Охрененное видео, спасибо большое

[@user-lz3ez3nn4j]

Спасибо за работу, лайк!

[@user-fi9xc6nc1q]

Здравствуйте! Спасибо за вашу работу, вы невероятно круто и доходчиво все объясняете! Очень бы хотелось побольше видео о golang))))

[@t0digital]

Спасибооо! По Go планирую материалы, да

[@limonred5283]

Качество контента зашкаливает) Минимум воды, реальные прикладные вещи вместе с кодом и комментарием - это то что нужно людям.

[@t0digital]

Спасибо! Рад, что полезно

[@whoiam7138]

Это был самый сочный код на Go. У меня даже пинг приподнялся

[@user-xj2xs3mz9v]

Весьма интересное видео, спасибо!

[@t0digital]

Спасибо!

[@thequarkie]

Отличное видео, бесценные комментарии. Спасибо!!!

[@t0digital]

Рад, что полезно!

[@tam0jennik]

Спасибо за интересную подачу материала и приятные технологии. В свое время делали подобный велосипед на net core, потребовалась пара недель времени (махровый Энтерпрайз -- согласования, подключение ELK,, выдача виртуального сервера и пр.) Отдельная интересная задача была на стороне браузера посылать события пользователя (у нас часть действий никак не завязана на запросы к api, и мы использовали rxjs и buffer оператор для пакетной отправки данных раз в пару секунд, очень круто получилось снизить нагрузку. С интересом слежу за творчеством, хотя и ничерта не пишу на питоне.

[@golden_smiles]

Вангую мы скоро увидим кучу видео по Go ;) Кучу комплиментов от питониста в сторону данного языка слышать приятно.

[@andavidov]

Отличный материал!

[@andy_ap]

Хай, большое спасибо за подобного рода видео. Когда курсы? B будет ли там затронут GO?

[@emutant01]

За golang жирный "+", с нетерпением жду видео по нему

[@user-qi6ow4dx5r]

Классно!

[@samrybkin9184]

Привет спасибо за видео уже который раз пересматриваю :) просто интересно твоё мнение какие преимущества есть у golang перед python и какие недостатки перед тем же python?

[@bandirom]

Супер информативно

[@artydevco]

Спасибо большое! Коммент для продвижения :)

[@t0digital]

Спасибо!

[@nikitaomen666]

Спасибо за интересные идеи. Тоже писал сервис аналитики на голэнге, но с прямой записью в БД, но у меня и нагрузка не такая, как у вас. Делал не на основе аякс запроса, а на основе подгрузки изображения 1х1пиксель с дополнительными гет параметрами.

[@pin689]

Второе соображение по архитектуре, как уже правильно написали, редис тут может и ненужен, достаточно просто большого словаря в памяти прямо в go сервере, только надо незабыть его синхронизировать. И там же в go сервере задача раз в минуту все суммирует и складывает в postgres, вместо скрипта на python

[@Virdevir]

Отличная информация , спасибо ! Захотелось освоить Golang , посоветуй пожалуйста книгу или курс по нему для начала ?

[@azamatmuratshin]

Спасибо)

[@jankaban2871]

Для первой пробы и написанного за ночь хороший результат, местами чувствуется что по 'питонячески' написано, все же правду говорят что если понимаешь что делаешь то сделаешь на любом языке

[@evgeniykuts6756]

Круто очень сам работаю в рекламной бирже. Все сервисы на Golang, python используем для парсинга статистики с других бирж. Полезный материал, спасибо!!! Когда уже курсы от вас будут? С удовольствием пойду, если там будет похожие вещи, не совсем уже для начинающих разработчиков.

[@DimiEG]

Из Python обычно идут в Go, что и свершилось. ;) Ждём больше видео по этому языку. Сам перепрыгнув через Go понёсся в Rust. Тоже очень интересный язык, но сыроват и похоже не взлетит. Так что желание заняться Go серьёзнее сохранилось. К тому же для сетевых приложений он идеален. И на нём так же можно создавать сайты. Но похоже нет такого же мощного фреймворка как Django. Спасибо за видео.

[@lEpIvIaKl]

А как нынче Go? А то он кажется тоже сыроватым в плане некоторых аспектов. А Раст всё же сыроват тоже остался?

[@user-dy2ei6hl5q]

Дайте пожалуйста информацию по курсам! Уже за середину сентября перевалило, а обещали в начале месяца первый модуль...

[@doom678]

Спасибо!

[@user-kh7nl8sv1j]

Давай больше Go!)

[@t0digital]

Постепенно будет больше Go, да

[@makeitgit]

keys у Redis имеет сложность O(n). Попробуйте использовать hincrby, тогда скрипт на питоне будет обращаться всего к двум ключам через hscan

[@alexanderpastuhanov174]

Круто! Пора садиться за Golang)

[@t0digital]

интересный язык, да

[@rumartru]

Ага, только работы по нему для джунов нет.

[@MaksimZhashkevych]

Заходи на мой канал, там сможешь найти материалы чтобы стартануть с Go)

[@sergheiungurean8262]

В FastAPI можно было бы использовать background tasks так как в случае веб аналитики на не важен сам ответ с сервера. Но все ровно больше 7.5k req/sec не поднимится.

[@derfic]

если интересно на пайтоне все таки это реализовать, можно взять сборочку python + bjoern ( bjoern это wsgi сервер для python, вроде на плюсах написан и выдает тоже приличные результаты по rps )

[@levcoder]

по надобности, если нужно увеличить рпс то посмотри в сторону go fasthttp

[@valentynanzhurov4465]

Спасибо за крутой видос!!!! Что за чёрная штука справа? Что за часы и что за белая штука в руках ?))))

[@t0digital]

Спасибо! Справа колонка Harman Kardon Aura Studio 3. Часы Casio GA-2110SU-9A, я часовой маньяк, пополнил недавно мини коллекцию:) В руках текстовыделитель EDDING EcoLine 24, нравится тактильно и что-то выделить иногда приятно

[@devracoon]

В голанг тоже можно без запаривания 9:38 map[string]interface{} Дальше говнокодишь: eventCode := message.Data.(map[string]interface{})["event_code"].(string)

[@ASKOLDEX]

Перед тем как читать r.Body, строчкой выше добавь defer r.Body.Close() иначе будет течь память

[@misha_tgshv]

Спасибо за видео! А реально передавать данные об юзере? Например, ip, браузер и гео?

[@likhomanov_777]

Задам вопрос, который меня когда-то заинтересовал. Я узнал о таком понятии как orm, то есть в питоне это как-бы приветствуется. Что думаете о таком подходе при работе с бд? То есть мы работаем как с моделью с peewee, нежели через psycopg2 .

[@friedrichalbertkyuri]

Пишем давно на го в компании. Юзаем grpc и go-micro для сервисов, а api gateway на echo пишем. Echo очень удобный фреймворк, лишает ненужной мороки

[@t0digital]

Спасибо за упоминания! Посмотрю

[@LRXAORLOV]

Давай больше Go!!!

[@t0digital]

Будет Go:)

[@gwhite224]

Я бы только в питоновском скрипте при подготовке запроса с форматированием строки использовал бы psycopg2 -> sql -> SQL. Он защищает строку от инъекций и иного рода неожиданностей. Хотя в данном случае это и не обязательно, но у меня работает уже как условный рефлекс :)

[@vadimdorokhov8375]

Go крутой) да))) и видос крутой) спасибо

[@t0digital]

Спасибо!

[@mrbush1872]

@@t0digital похоже , проектов на Golang станет больше ) Похоже , зашел те ЯП )))

[@t0digital]

@@mrbush1872 быстрый, конечно. Больший RPS - меньше серверов надо и бОльшую нагрузку тянем. Мы сейчас 10% выручки тратим на сервера, это овер дофига

[@mrbush1872]

@@t0digital интересно намного ли сложнее реализовать , то что можно сделать на Django ?...хотя по тех показателям в будущем будет выигришь

[@t0digital]

@@mrbush1872 пока не ответил себе на этот вопрос. В будущем поделюсь :)

[@mkhnuser]

Рассматривали бы вы сейчас асинхронное решение на Python (скажем, AIOHTTP, Async FastAPI), вместо сервиса на Go?

[@pavelmilanov3368]

Алексей, подскажите, пожалуйста , на каких ресурсах изучаете Go?

[@rinat661]

Забавный язык, на работе в некоторых сервисах（пуш, чат, аналитика）использую, хотя в плане гибкости язык достаточно слабый, поддержки метапрограммирования как такового нет, рефлексия только но... это не то. Самое шикарное в языке это горутины и минимализм по сравнению с другими языками строгой типизации, ждем дженериков для большего удобства в го) А для души я лично использую Rust )

[@flont1204]

Лично мое мнение и мой фкус по поводу превьюхи видоса. Больше по душе прошлый стиль превьюх, глаз радуется

[@omdez]

связка Python/Go прекрасна

[@t0digital]

Да! Go скорость работы, Python скорость реализации

[@voynere]

@@t0digital Лучше go + angular 😁

[@alexfish289]

Нужно больше веба на го

[@MrPeredreifus]

Всё прикольно, но я бы советовал не использовать panic. Лучше возвращать error. Тогда тебе не придется ловить паники через recover

[@EdwVee]

Где-то 6-7 минута - с гоу можно ж хранить данные сразу в оперативке веб сервера и оттуда писать батчи или агрегаты в базу. Зачем редис и скрипт на питоне? А если для статы взять clickhouse (при условии, что подходит) будет ещё в разы веселее.

[@MakarenkoSasha]

Так.. что там по курсам?

[@dzianish6223]

Очень крутые темы, спасибо. А почему было не писать из го в какую-нибудь очередь по типу кафки? Дальше было бы удобно без кастылей (цикла по редису) складывать события из очереди в бд. Ну и бонусом получили бы историю всех событий и персистентность при необходимости

[@ShortsPageTech]

Можно видео сравнения go python

[@tanks-blitz-shorts]

Видео классные, очень нравятся, Спасибо!! Вот теперь еще и про Go узнал(точнее впервые код увидел на Go), заинтересовало) Но вот каждый раз я задаюсь вопросом: а где ссылка на github? Не знаю как другим, а мне интересно посмотреть код в редакторе после просмотра видео)

[@t0digital]

Мой код на go пока плохой, не хочу выкладывать. Как изучу язык нормально, буду выкладывать. Вы узнали про go, заинтересовались - цель этого видео достигнута:) продолжим о go в следующих видео

[@nurk9928]

@@t0digital Можно получить более конкретный фидбек, если его выложить на GitHub. Намного проще оставлять комментарии на конкретные строки кода, можно увидеть актуальную версию кода, тк многие проблемы, скорей всего, вы уже закрыли.

[@user-lc6iw9rh8p]

Алексей, я вот щас в смятении правильно ли я выбрал язык для изучения (Python) ? Так много разговоров про растущую востребованность, скорость итд golang'а. И тут еще увидел ваш ролик про go..... Может сможете как-то помочь направиться туда куда нужно?)))) Цели у меня на будущее: веб приложения в основном

[@misteranderson6058]

I'd like you to give us lessons on golang, ranging from simple to more complex

[@user-gs6ms6qd3k]

Алексей, pipenv vs. poetry?

[@ilyachudakov7944]

Супер! Очередное доказательство того что быстрее упираемся в скорость работы БД, чем в производительность языка. Однако вопрос: отчего на го параллельно нельзя писать в БД - типа очередями в удаве? Понятно, что производительность не будет такой же как с Redis, но даже в доке написано, что он только для некритических данных.

[@AlexandrSpirit]

Смотрел что бы изучить вторым языком, Rust или Go Для себя понял, что нужно начать с Rust. После него, Go будет намного проще. Это как с Flask/FastApi и Django. Новичку начать использовать Flask/FastApi будет сложно. Нужно время что бы во всем разобраться. С джангой проще. Но по себе скажу, после Flask/FastApi джанга кажется простой. Я её толком не изучал, почти сразу на Flask перешел, потом FastApi. А недавно спокойно на джанге несколько тестовых заданий сделал. Может не так быстро, но проблем не возникло вообще. Короче, вторым языком нужно брать раст, после можно и го. На расте недавно пробовал делать библиотеку для пайтона. Ничего сложного. Зато очень быстро работает. П.С. Видел что новая версия Pydantic не только синтаксис поменяла, но и на Rust теперь

[@sergeyk1982]

ИМХО, есть 2 проблемы в такой архитектуре: 1. когда структура данных измениться или дополниться новыми полями/евентами, необходимо будет менять (и тестировать) 2 программы. Если будет баг, его скорее всего придется искать в двух местах. 2. данные не сохраняются в своем оригинальном виде (в котором AJAX их присылает), нет лога. Если завтра будет нужно изменить логику агрегации данных (подсчитывать что-то по другому) или выявится какой-то косяк в логике, эти скрипты невозможно прогнать ретроактивно, скажем, на все данные пришедшие с начала месяца. А значит изменения можно делать только для данных, которые придут потом. Я бы сделал чтобы GO только писал пришедшие данные (как они есть) в конец кокого-нибудь yyyy-mm-dd.log файла и сразу возвращал 200 ОК. Максимально быстро и "тупо". Скорее всего в GO можно даже сразу вернуть 200 и закрыть http соединение, а уже потом заниматься записью пришедших данных - будет еще быстрее для клиента. Конечно получиться много мегабайтов на диске, но кто их считает в наши дни :) И уже python скрипт занимался бы парсингом лог файлов и сохранением в БД. А агрегацию (подсчет различных каунтеров) я бы вынес еще в отдельный скрипт и делал бы это уже внутри БД - postgres справляется с такими задачами отлично. Возможно вместо файлов можно использовать Kafka, как уже писали. Но Redis тут наверняка лишний. Я обычно использую парсинг скрипты которые бегут из крона с определенной периодичностью (в зависимости от того, насколько актуальной должна быть статистика в отчетах). Эти скрипты каждый раз перерабатывают 2 последних yyyy-mm-dd.log файла: стирают данные за последние 2 дня в БД, парсят данные из файлов и заносят обновленные результаты за те же 2 дня обратно в БД (если данных прям "очень много", то можно использовать баффер в 2 часа). А потом, если нужно, данные агрегируются по дням, месяцам, или чему-то еще, и результаты заносятся в агрегационные таблицы (которые уже используются для отчетов). Это конечно не 100% эффективно, но надежно, тестируется, ошибки/недоработки всегда можно исправить и все пересчитать за любой период.

[@user-tx4ie5fd6d]

Если правильно понял, то не стоит обнулять счетчики, иначе потеряете несколько новых значений пока работает крон скрипт. Лучше уменьшить значение счетчика на то чесло, что было считано изначально(которое записали постгрес)

[@t0digital]

Обнуление происходит через GETSET, один вызов возвращает значение и обнуляет его в Redis. При этом сам Redis однопоточный, то есть на время работы GETSET никакой другой код не работает с этим ключом. Значения не теряются

[@realmoftheminone]

Крутой чел

[@vlaih0]

Ну, Кен Томпсон красавчик. Отличную работу провели и отличный язык создали. Так сказать отыгрались за Си, созданный на коленке.

[@t0digital]

отыгрались, да:)

[@ThePashkinz]

Для гоу может быть есть смысл рассмотреть ETCD?

[@MikhailChernoskutov]

Привет Мог не доглядеть какой-то кусок кода, да и прошло уже 2 недели (наверняка уже что-то исправлено), а что-то наверняка уже писали в коментах 10:01 Мы в команде пытаемся не создавать клиентов в глобальных переменных/переменных пакета (как в данном случае сделан клиент rdb). Да и делать отдельный background контекст в виде переменной тоже не совсем понятно зачем: никакой полезной нагрузки с ним сделать не получится, а создавать context.Background() по месту достаточно дешево. successfull и unsuccessfull response message я бы не стал разделять: они всё-равно судя по тегам будут замаршалены в один и тот же json. И кстати в названии типа опечатка (unsEccessful) По поводу того чтобы называть переменную также как и тип у нас в команде недавно поднимался вопрос: пришли для себя к тому что тип данных сам всё говорит и писать `var fooBar fooBar` это масло масляное и взрывает мозг читающему :)

[@user-qd4sn3oy8w]

Опечатки намерено сделаны в названии структур? Seccessfull, секесный респонс

[@user-ce9tt7si1p]

Спасибо за контент! Как думаешь, сможет ли Go вытолкать Python, PHP из веб, если обрастет различными плюшками для работы со структурами данных, CRUD-генераторами/админки(аля Django)? Или все равно упремся в вопрос невозможности построения абстракций в Go при попытке создать большой проект и выходом в итоге на большую головную боль? Сложилось впечатление, что Go хорош для узких, но требовательных задач. Как в твоем случае, например. Интересно твое мнение.

[@nornad-x]

У go своя ниша. Он не стремится вытеснить других полностью.

[@Plysho]

А как вы определяете момент обнуления счётчиков и перелив скриптом в базу? Как быть уверенным что в этот момент в Reids ничего не прилетит?

[@t0digital]

Getset отдаёт значение ключа и сбрасывает его за одну команду. И redis однопоточный, что удобно

[@Johniooooo]

Лайк за реальный кейс

[@temirzhanyussupov6997]

Спасибо за видео! Подскажите пожалуйста, на 16:00 что за vim шорткаты, чтобы быстро пройти к дефиниции Find, а потом обратно вернуться к тому место где были изначально?

[@t0digital]

Команда * делает переход к следующему использованию того слова, на котором сейчас стоит курсор, он стоит на Find, жмем *, переходим к определению Find в этом же файле. Вернуться назад - скорее всего я использовал метку на изначальной строке, у меня на автоматизме это происходит в фоне, не задумываясь. Комбинация mx ставит метку x на текущей позиции, и потом, когда к ней надо вернуться, комбинация 'x возвращает к метке. Меток можно делать много, когда в одном файле надо прыгать между двумя блоками, ставлю две метки mx и mq и прыгаю по ним 'x и 'q соответственно, удобно. Если надо перейти к последнему месту, в котором происходило редактирование, команда `. это сделает.

[@itosla]

@@t0digital Добрый день. Подскажите, есть ли возможность увидеть ваш vimrc файл? Это очень помогло бы в настройке редактора.

[@t0digital]

@@itosla есть такое видео на канале, там есть описание и ссылка

[@Ackep_Tu6ae8]

@@t0digital круто! А не хотите сделать обзор этих и других трюков по Vim?

[@t0digital]

@@Ackep_Tu6ae8 как-нибудь сделаю!

[@Deletedeletedelete]

Синтаксис Го выглядит довольно привычным после Python, Ruby и Crystal

[@maxpower6755]

в комментах не нашел, сорян если дубликат для сериализации json в структуру - оч реккомендую easyJson от mailRu. Суть в том, что коробочный сериалищатор оч медленный, ибо он работает через рефлексию. натравливаешь easyJson на свой go файл где описаны struct, он тебе сгенерит файл, который будет значительно быстрей выполнять де/сериализацию json так ты сможешь еще увеличить нагрузку на гошный сервак и да, как ранее писали, panic лучше не юзать. замени на логирование с алертом. паника дорогая операция, которую надо оборачивать в recovcery, иначе бинарник свалится и надо будет ждать его рестарта (если он как демон)

[@rtme846]

после питона синтаксис не вызывает разочарования, спасибо за видео.

[@vadimdorokhov8375]

Сервис очередей можно было бы, на мой взгляд, использовать вместо (redis+скрипт раз в минуту).

[@t0digital]

Да, можно

[@bingo5334]

Hi, it would be great if you put this code on Github and leave the link in the description. It's a very interesting video.

[@Delimor]

Запускай хоть fmt, а то анотации у структур не читабельные. Кстати, проще запустить горутину которая будет слушать канал от time.NewTicker(15 * time.Minute), это позволит более легко менять код, да и будет легкий scratch контейнер (не нужно тащить cron).

[@nurbekerkulov8154]

Интересно не мешает ли работа python скрипта на работу сервера на golang. Т.е. что будет, если в момент когда питон скрипт обнуляет redis golang захочет что-то записать... Возможно я что-то не понимаю ибо не работал с redis.

[@t0digital]

забор ключей питоном происходит через GETSET, то есть одной командой забирается значение и проставляется новое (ноль или пустая строка в нашем случае), соответственно между забором данных в питон скрипт и следующей записью Go программой в редис данные не потеряются. И надо понимать, что Редис однопоточный

[@bloodielie7280]

Хотелось бы увидеть код тестов rps разных фреймворков, а именно fastapi

[@Deletedeletedelete]

Было же

[@dmitriyobidin6049]

19:28 Скорость написания кода не особо важна, а вот читабельность... Но я бы всё таки из 3 углов: скорость написания, читабельность и простота поддержки выбрал именно последние 2 пункта, а по ним Go за счет строгой типизации выигрывает. Там код может быть более самодокументированным. Особенно что касается точек интеграции. В Python/JS проекте если нет документации то хрен разберешься какие форматы JSON'а куда и откуда передаются. И да, gRPC/Protobuf еще лучше будут в этом плане.

[@flikos]

Подскажите пожалуйста, а где происходит обнуление счётчика в Редисе?

[@t0digital]

там через getset происходит считывание данных из редиса в питон скрипте, то есть одной командой данные считываются и устанавливается новое значение

[@evrmk]

Очепатка - может Successful?) Спасибо за видео! Можно ли легко внедрить такую технологию на любой Django проект?

[@t0digital]

Можно!

[@evrmk]

@@t0digital Круто 😁 Спасибо за Ваши труды. Очень жду курс и надеюсь, что хватит на него денег 😅

[@UFCbattles]

Рассматривали ль вы использования C# вместо Go? Если да, то почему выбрали Go? Если - нет, то почему не рассматривали? Спасибо.

[@t0digital]

Не рассматривал, хотя знаю, что многие C# любят и хвалят

[@SergeyChernetsky]

А что будет, если в Redis придут записи во время работы питоновского скрипта?

[@t0digital]

Редис работает в одном потоке, все будет ок

[@amigo4884]

20:15 - нет ли риска race condition?

[@alexander_farkas]

getset - атомарная операция

[@user-xj2xs3mz9v]

про гошный пакет для ssl сертификатов. вот прям слов не хватает чтобы выразить насколько это круто! Но только. А гошный сервис у вас что, наружу торчит? А он у вас задеплоен отдельно от основной приложухи? А если нет, то почему бы его за nginx (или что вы там предпочитаете) не спрятать? тогда еще и надобность в cors отпадет

[@t0digital]

С этим гошным пакетом для SSL у нас кстати возникли сложности (некоторые запросы отрабатывали ооочень долго, десятки секунд), я пока не могу утверждать, что точно из-за него, но сейчас мы все-таки проставили там заранее подготовленные сертификаты и таких долгих ответов пока не замечаем. Гошный сервис лежит на отдельном сервере, чтобы он точно не влиял на работу основной железки, на которой крутится админка сайта и прочие сервисы. Ставить Go приложеньку за nginx или не ставить я пока не понял общей практики. Кто-то ставит, кто-то нет. В целом Go сервер хорошо и статику отдаёт (dl.google.com на Go, это сервер отдачи файлов от Google, раздаёт Google Chrome в частности). Если ставить go приложение за nginx, RPS сразу падает в несколько раз. Возможно надо докручивать Nginx, но с дефолтными настройками это выглядит грустно.

[@user-oi1zl6de8i]

Скажите, а Вы не пробовали cython для ускорения python-кода?

[@t0digital]

не пробовал

[@user-oi1zl6de8i]

@@t0digital Мне удавалось компилировать свои модули и ускорять выполнение функций в сотни, тысячи раз.. и даже больше.. рекомендую обратить внимание на эту технологию

[@t0digital]

Спасибо, посмотрю в эту сторону!

[@EugeneSereda]

Алексей или сообщество. Вопрос такой. Если Python вытягивает поток, то где гарантия, что второй сервис на python не вытянет такой же поток запросов аналитики? Я правильно же понимаю: зашел на страницу, с нее ajax запрос куда-то ушел. Т.е. одна страница - один запрос? Просто пытаюсь понять... зачем здесь был go? У нас был проект который на GO принимал все запросы и клал в clickHouse, а оттуда уже медленный PHP вытягивал данные и фасовал в MySQL для аналитики и управления. Здесь оправданно, а в вашем случае...

[@user-mz8fr1li7n]

Гошка топ!!!

[@maksych8690]

Народ, заметил такую штуку, думал что все знают как пишется слово "success", но на видео вижу "seccess")))

[@teletypewriter]

Насяльника, засем ругаисса?

[@user-ku2er1ds3v]

можно пойти дальше и написать на Rust

[@MrPeredreifus]

Но делать этого мы, конечно же, не будем )

[@alexanderdark]

Интересно, но нашёл ошибку в коде на 17:35, правда в комментарие)) Undefined word: finded.

[@Deletedeletedelete]

У вас тоже ошибка в «комментарие»

[@fanfanius]

Я наткнулся на статью habr.com/ru/post/321864/ , и возник вопрос. А что если создать локейшен на фронте, и завязать запросы в редис на lua? Полагаю что скорость должна быть на уровне. P.S. в go если спрофилировать, unmarshaling json в топе?

[@t0digital]

C Nginx + lua не игрался, но подключение Go приложения не напрямую, а через Nginx, просаживало RPS в 3 раза на моих тестах. Возможно если донастроить nginx, то RPS бы поднялся, не знаю