Экспорт большого объёма данных. Express советы

Сегодня мы с вами поговорим про генераторы. Классическая проблема, классическая боль для большинства новичков. У нас есть итерация по огромному количеству элементов, плюс с каждым мы производим определенные действия и в итоге уходим в лимит памяти. Давайте посмотрим что с этим можно сделать.
🎁 Для вас есть подарок, забирайте - cutcode.dev/l/4pxn 🎁
#Expressсоветы#laravel#cutcode
---------------------------------------------------------------------------------
🚀📹👨‍🏫 Как насчет прокачки своих навыков с помощью наших обучающих видеокурсов по web-разработке? Переходи на мой сайт 👇
learn.cutcode.dev/?
❗️❗️❗️Присоединяйся к нашему комьюнити в телеграм - там и советом помогут и много интересного - cutcode.dev/l/icwf
---------------------------------------------------------------------------------
📹 делитесь этим видео с друзьями:
• Экспорт большого объём...
🔔 подпишитесь на KZbin-канал: kzbin.info?s...
📼 Курс по Laravel с нуля:
• Курс по Laravel 8 обуч...
Экспорт большого объёма данных. Express советы
---------------------------------------------------------------------------------
🔗 наш сайт: cutcode.dev/?
📱 Наш telegram-канал: t.me/laravel_cutcode

[@ingvarzharov7072]

Рубрика нужна! Лайк!

[@cbrwvy]

Рубрика класс, давай больше))

[@antohagobet4451]

Однозначно, нужна такая рубрика!

[@CutCodeRu]

Принято

[@user-ii8ke7jl3t]

Интересно, делай еще!

[@postrockmore1306]

Нужна, очень нужна)

[@user-yj4fe8gq7i]

Быть. Да. Можно даже в плейлист какой-то выделить такое ролики.

[@user-ke4uc3mg8g]

Рубрика нужна ❤

[@kamil19862307]

Конечно нужна такая рубрика!

[@undersun6301]

Отличный совет, полезный, спасибо. Смотрю все ваши видео, любой длины 😊

[@CutCodeRu]

А я все ваши комментарии! Спасибо!

[@emsiattax]

однозначно полезная рубрика

[@maxmoroz1924]

Однозначно, быть!!!

[@CutCodeRu]

Принял)

[@mister_robot01]

Ждем еще!)

[@ZA-Pobedu-RF]

Нужна, очень нужна

[@gamingplay5415]

в некоторых случаях вот действительно не хватает наглядного примера решения, вроде и все понятно что пишут как решается но делаешь как пишут не всегда работает из за особенностей компонентов и версий 😂

[@Kyrare03]

На мой взгляд нужно углублять в детали реализации, чтобы понимать, что ларавель делает под капотом метода cursor

[@CutCodeRu]

На канале уже есть ролик

[@gamingplay5415]

как всегда лайк 👍

[@andreigolovaciuc9855]

Рублрика нужна, Лайк ставлю)) подписку и колокольчик :D

[@user-mi2uw8ro6s]

однозначно да

[@Pavelbrov]

По архитектуре интересно бы были задачки и решения. Как из лапшекода делать чистый

[@CutCodeRu]

Присылайте лапшекод в чат или в личку

[@user-ge6pt5lp9u]

Вот именно из таких частных случаев и строттся опыт;] когда кипишь над задачей день-другой, и потом осенило.. Рубрика "я понял/всё просто/хозяйке на заметку..." даст буст в просмотрах. Другой момент идеологический - ..я кодил, а кто-то получил скил даром.

[@artemkanarskyi8231]

нужна, давайте теперь Импорт

[@CutCodeRu]

😄

[@user-en8tg8yb4q]

Количество использованной памяти уменьшили, но мы так сильно увеличили нагрузку на БД. На каждую запись по 1 запросу - это более 70000 запросов. В некоторых фреймворках есть решение из коробки (Yii2 методы each(), batch() для query билдера). Например: foreach ($queryModels->each(1000) as $model), где 1000 - это количество моделей в одном запросе. Так мы не сильно загружаем БД, и остаёмся в рамках лимита памяти

[@CutCodeRu]

запрос то один, мы кроме получения ничего не делаем, а так то что вы пишете в eloquent это метод chunk (лимит офсет)

[@lokylainen]

круто

[@user-oj7sn3yj2n]

Нужна

[@user-fc2pd6ow9e]

эх... жаль нет полного примера. а если записей 200.000? как поведет система?

[@vesh95]

Если курсор из базы берет по одной записи, то это не эффективно. Лучше использовать ларавелевский batch. Причем стоит посчитать количество памяти на пачку, чтобы брать по максимому, так будет меньше запросов в базу. Если нужно сортировать или аггрегации по всей таблице делать, то это точно быстрее будет. Ещё есть такая фишка, что при softDelete можно добавить индекс с сортировкой по id (или другому молю, по которому сортируется) и в индексе задать условие deleted_at is null или наоборот, если записи удаляются редко, так инварианты отбрасываются + всё заранее отсортировано и уже не всю таблицу приходится сканить. А я пока почитаю про то как работает курсор.

[@vesh95]

Вообще если с большими таблицами приходится работать, то лучше знать сложности алгоритмов, чтобы понимать что вообще может дать explain и как мы пожем что-то поменять, чтобы стало быстрее.

[@CutCodeRu]

Метод курсора будет выполнять только один запрос в базе данных; однако отдельные модели Eloquent не будут гидратированы до тех пор, пока они не будут фактически итерированы. Таким образом, только одна модель Eloquent хранится в памяти в любой момент времени во время итерации по курсору. В какой то мере генератор был и не нужен но и решение с chunk тоже имеет место быть

[@vesh95]

​@@CutCodeRu Ну бывают выборки из базы, что и сырой результат базы не помещается. Но есть у меня местечко, где стоит попробовать покурсировать. Если получится и по памяти пройдет, ибо одним запросом всё делается в секунды, а чанками на минуты выходит. Идея хорошая, надо попробовать. Перепутал, да, чанк.

[@CutCodeRu]

@@vesh95 напишите потом про опыт с курсором

[@vesh95]

@@CutCodeRu Попробовал. Было через чанки по 500 сделано, процесс длился 1000 сек на 1.5млн записей (если не ошибся с кол-вом), на той же выборке без чанков с курсором стало 250-100, колебалось от запуска к запуску, но разница четко прочувствовалась. По сути из O(table_iter_time*chuncs_count) в О(table_iter_time) сложность перешла. Однако где использовались связи там это почти не эффективно, только на релейшены больше запросов появляется. Так что на простые выгрузки по одной таблице самое то, а вот с релейшенами посложнее выходит

[@user-jq8eh5wd6y]

продолжай

[@CutCodeRu]

Хорошо)

[@inilim]

лимит офсет, решают проблему. Генератор не нужен, курсов в принцепе тоже. если только бд на лярд строк

[@ForwardDev]

Дай название рубрике в стиле gist :)

[@deniskadet]

А если применить LazyCollections? Тоже под капотом генератор

[@CutCodeRu]

kzbin.info/www/bejne/rJykpIGcm6-SkLssi=U8axkklZQdTTWeO4

[@the2x548]

А я делал очереди для этого

[@CutCodeRu]

И правильно делали но это о другом

[@lbbMHz]

а очереди тут причём?

[@yaroslavmakarov2218]

ogon

[@LuchkinDS]

~71к запросов в базу?

[@CutCodeRu]

Записей