Оптимизация обработки данных на PHP

Общие практики и подходы для работы с данными в момент выгрузки и загрузки больших (и не очень) объемов данных. Будут как Right-way так и bad practice.
00:00 - Вступление
01:58 - Планирование
04:58 - Дробление
06:40 - Индексы
07:53 - минутка bad practice
14:44 - Про UPDATE
15:47 - RAM
18:15 - ORM и LazyLoad
25:24 - Мониторинг
26:12 - Заключение
Теги: php, orm, база данных, mysql, индексы, синхронизация, выгрузка, обработка, sql, dql, doctrine, symfony, laravel, orm, мониторинг

[@alexeyyakovlev7022]

для начинающих - неплохо , по сути , делать insert / update для одной записи - зло , минимум для 1000 . удаление - оно оставляет "дыры" и скорость базы снижается , все зависит от типа базы , но на postgres это может быть сильно заметно , в разы . OFFSET правильно было замечено что чем дальше тем дольше , НО , еще , в два ответа может войти одна и таже запись , тупо база может не различить по равным значениям каких то ключей, т.е. по умолчанию он сортирует по своей логике и на границе типа ему все равно что отдать запись А что запись Б, нужно добавлять order by по уникальному полю . Класс со сторейжем должен быть синглтон , иначе грамотный товарищ создаст 5 копий класса в разных местах. Для загрузки вообще лучше загружать во временное место , таблицу а затем быстро хранимой процедурой, с транзакциями передергивать данные . С учетом особенностей базы что вы используете . В каждой базе свои стратегии , для этого нужен DBA . Чтоб не загружать кучу ненужных изображений - считаете хэш для каждого изображения , можно md5.

[@Rclass]

Отличный комментарий! В закреп! :)

[@alexsuvorov4663]

Плюсую ) про ордер бай поправились кстати, но видимо в видео не вошло. Глаз замылился - упустил@@Rclass

[@vadimshevchenko8227]

Гайз, если у вас темный фон, то и вспышку смены скриншотов нужно делать в темный цвет или плавный морф переход. Сейчас белая вспышка, стирающая память как у Людей в Чёрном.

[@Rclass]

Это баг видный только при записи экрана) В следующий раз попробуем исправить)

[@ny_sho_ti_dyadya]

за чебурашку отдельный лайк

[@Rclass]

А то)

[@AlexKhaizeman]

Обложка - топ 🔥

[@Rclass]

Мы старались)