Оптимизация SQL запроса

[@СэмФишер-х4д]

какое офигенное видео! большое спасибо, Евгений!очень полезно и без воды. как идея-было бы неплохо рассмотреть оптимизацию ресурсов и поиск утечек памяти(с помощью VisualVM к примеру)

[@EugeneSuleimanov]

Спасибо за поддержку! Это тоже есть планах :)

[@admiralakbar1936]

@@EugeneSuleimanov тоже интересно (и как анализировать heap dump)

[@sergeydegtiarev1795]

Ёмко. Без воды. Доброжелательная подача. Спасибо)

[@EugeneSuleimanov]

Спасибо за отзыв :)

[@qaserus1226]

Спасибо большое. Как идея, видео об транзакциях, аннотации @Transactional, уровнях изоляции, а так же локах на таблицы и избежание deadlock))

[@EugeneSuleimanov]

Спасибо за отзыв и идею :)

[@toddis4912]

В explain 1 цифра - это стоимость для начала конкретного этапа, а 2 - это общая стоимость выполнения. Первая цифра включает все операции выполненные до этого, чтобы начать текущий этап. Чтобы получить стоимость конкретного этапа нужно вычесть из цифры 2 цифру 1. Общая стоимость выполнения запроса это 2 цифра на последнем этапе, цифры не нужно суммировать, как это делает автор. По сути после первого преобразования запроса автором, запрос отработал медленнее))) Но это вполне объяснимо маленьким объемом данных и поэтому цифры будут скакать)

[@EugeneSuleimanov]

@@toddis4912 спасибо за полезный комментарий и конструктив.

[@MultiKenes]

Лучший)) Коротко. Чётко. Ёмко. Полезно. Жаль, что пока мало видосов на канале. Не бросайте это дело

[@EugeneSuleimanov]

Спасибо за поддержку!

[@zicksu2142]

Евгений, после просмотра видео очень хочется пожать вам руку и сказать СПАСИБО!

[@EugeneSuleimanov]

Большое спасибо за отзыв!

[@Devivl]

Как всегда, огромное спасибо, Евгений. Ёмко и понятно. Узнал об удобстве DataGrip и о cost'ах. Буду тестировать. Всё сводится к анализу и, как следствие, удалению избыточных запросов (информации). Воочию представил насколько отсутствие оптимизации влияет на ресурсы и время предоставления информации, хотя таблица состоит всего из нескольких записей. Спасибо!

[@EugeneSuleimanov]

Большое спасибо за отзыв!

[@ZamalSpace]

Быстро, ёмко, полезно. Спасибо за видео про оптимизацию запросов. Однозначно хотелось бы продолжение. Было бы здорово серия видео на тему оптимизации запросов и заигрывания с индексами.

[@EugeneSuleimanov]

Спасибо за отзыв и идею!

[@autodidactit4492]

Есть нюанс который не очевиден, используется timestamptz туда заливаются просто даты без времени и временной зоны. После оптимизации используется диапазон дат, но не учитывается временная зона, если указать другую временную зону, то селективность дат поменяется как и сам план запроса. Считаю, что timestamptz в данном примере не сильно подходит. Создавая тип данных, который потом не используется в полной мере, не совсем хорошая затея, так как увеличивает косты на обслуживание в зависимости от типа бд. В целом очень информативное видео без воды и по сути проблемы! Приятно смотреть на квалифицированного человека в KZbin.

[@Михаил-л8л6о]

Искал медь, нашёл золото - это про канал Евгения)

[@EugeneSuleimanov]

Спасибо за поддержку :)

[@МаксимСамойлов-р6ф]

Классное и очень полезное видео, прям во время вышло!!! Спасибо, Евгений👍👍👍

[@EugeneSuleimanov]

Спасибо за поддержку!

[@LAZIO14]

Бомбическое видео! Я горжусь тем, что мой преподаватель по Java сам пишет профессиональные статьи. Спасибо тебе, Женя, большое))

[@EugeneSuleimanov]

Спасибо за отзыв :)

[@ratsmasher]

Евгений, огромное спасибо за видео! Как раз сейчас разбираюсь с индексами и оптимизацией запросов. Очень коротко и максимально понятно, а что самое главное нужно любому бэкенд разработчику.

[@EugeneSuleimanov]

Спасибо за отзыв!

[@Lenz_86]

Евгений, спасибо за контент! Ещё мой руководитель на проекте говорит что нужно всегда избегать подзапросов, практически всегда можно обойтись без них, а на производительность они влияют очень сильно

[@EugeneSuleimanov]

Спасибо за отзыв!

[@klaussr]

А зачем же мы их так усиленно учим))

[@zvuk3316]

"Практически всегда можно обойтись без них" - громко сказано)

[@МихаилА-у3л]

Совет от бывалых: не пытайтесь всё сразу вытащить одним запросом из кучи таблиц, бывает гораздо быстрее сделать 2 последовательных запроса. На очень больших таблицах добавляет скорости отсечь ненужные в выборке данные по первичному ключу. Сравнивать лонги проще, чем даты, особенно если дата имеет косвенную/прямую связь с порядком автоинкрементного первичного ключа.

[@Pablo-m8m5b]

Большое спасибо.Как же я соскучился за всем этим)

[@EugeneSuleimanov]

Спасибо за отзыв!

[@romankryvolapov]

Я бы сказал, что описанние в видео выглядит не как оптимизация, а скорей как просто логика и понимание принципов работы с базой данных, да и запросы очень простые, чтобы заморачиваться с их оптимизацией. Было бы интересно посмотреть на более сложные варианты запросов, где например используется последовательная выборка из множества таблиц, где по данным из первой ищется во второй, а затем например по данным из первой и второй ищется по третьей или что то подобное, ну то есть где возможны разные варианты и нужно выбрать оптимальный, ну или запрос выдает строки со связанными данными из разных таблиц, в таких запросах с кучей join и вложенными запросами действительно есть что оптимизировать. На одном из проектов сейчас как раз такая тема- дофига сложные запросы на пол экрана, и мне кажется, рано или поздно сталкиваешься с такими проектами, и тогда понимаешь, что не шаришь в sql)) А по работе с datagrip- вот это интересно! Стыдно признаться, о нем даже на слышал)) но выглядит круто

[@EugeneSuleimanov]

Спасибо за комментарий!

[@SplashDmg2011]

В IDEA Ultimate это все тоже есть - и explain в удобном виде, и визуализация

[@iamusayev1337]

Лучший! Продолжайте пожалуйста в том же духе, с наступающим, всех благ

[@EugeneSuleimanov]

Большое спасибо за отзыв и поздравления! С наступающими праздниками!!!

[@user-lk8n0fgjk]

Благодарность за классный и ценный ролик

[@EugeneSuleimanov]

Спасибо за поддержку!

[@pontypilat_0338]

Смысл запроса поменялся. В первом случае мы искали все январи, во втором случае январь определенного года. Я думаю, еще можно добавит про порядок join-ов. Таблица с FROM должна максимально отфильтровываться. Если у нас фильтр, который отсекает значительную часть данных, то применять его нужно на таблицу с FROM

[@MO3rOBOuBbICEP]

Полезный видосик, спасибо!

[@EugeneSuleimanov]

Спасибо за комментарий!

[@ЯоКуассиЖан-Клод]

Супер ! спасибо огромное, Евгений!)

[@EugeneSuleimanov]

Большое спасибо за отзыв!

[@Ellek1ng]

Отличное видео, спасибо большое!

[@EugeneSuleimanov]

Спасибо за отзыв!

[@AnnaSmirnova1]

Спасибо Евгений, лаконично и понятно

[@EugeneSuleimanov]

Спасибо за отзыв!

[@ГлебВалерьевич-у6ы]

да ты мое золото. просто лучший!

[@EugeneSuleimanov]

Спасибо за поддержку!

[@spezdm]

Блогодарю за полезное видео

[@EugeneSuleimanov]

Спасибо за комментарий!

[@zvuk3316]

Большое спасибо за такое полезное видео!)

[@EugeneSuleimanov]

Спасибо за поддержку!

[@dmitriysavinov9906]

Супер полезное видео!

[@EugeneSuleimanov]

Спасибо за отзыв!

[@bryanin]

Очень круто. Супер лайк

[@EugeneSuleimanov]

Спасибо за отзыв!

[@user-fz3rk8qv1d]

спасибо за базу !

[@EugeneSuleimanov]

Спасибо за отзыв!

[@selub1058]

Класс. Спасибо. ❤ Только на 14:28 в where должно быть больше ИЛИ РАВНО 1 Января

[@EugeneSuleimanov]

@@selub1058 большое спасибо за поддержку и за уточнение.

[@Aleksei-n6h]

Женя - топовый чувак

[@EugeneSuleimanov]

Спасибо за поддержку!

[@Fikusiklol]

Хороший пример для начала, но если посмотреть в последнем плане, то: 1) кверя выполняется дольше, вероятно изза кеша 2) фул скан таблицы, т.е убери индексы и ничего не изменится))

[@EugeneSuleimanov]

Спасибо за комментарий! Да, согласен, что с точки зрения реалистичности этих сценариев много вопросов. Цель видео - это познакомить зрителя с инструментарием.

[@chip253]

Полное сканирование сразу понятно было. Странно описание таблиц не полное, где developer_id unsigned int not null (default допустим не нужно) - на ревью завалится. Потом created_at тоже not null default now... Про экспрес функцию многие забывают - важный аспект.

[@EugeneSuleimanov]

Спасибо за комментарий! Разумеется, это не «боевой» код.

[@vladislavstepanov7591]

что не так с created_at not null default now?

[@konstantinmatushenko5831]

Спасибо за видео. Вы в практике часто используете функцию extract? Я вроде ни разу не использовал

[@EugeneSuleimanov]

Спасибо за отзыв! Нет, не использую, но несколько раз видел. Это учебный пример.

[@ManticoreRoko]

Отличная подача материала, доступно и полезно. Вопрос: не вредно ли добавлять >1 индекса в одну таблицу в OLTP СУБД?

[@EugeneSuleimanov]

Спасибо за отзыв! Здесь нужно искать компромисс, ведь вставка замедлится. Но зависит от контекста задачи.

[@alfalf1593]

Я правилтно понимаю, что замена join на left join это не оптимизация, а испраление логической ошибки?

[@ВалерийЕрмолаев-м1н]

Спасибо!🙂

[@EugeneSuleimanov]

Спасибо за комментарий!

[@BGlazyrin]

Урок получился симпатичный, но демонстрировать оптимизацию на 5 записях... Ну, такое. На малом кол-ве строк индексы могут мешать, а не ускорять. В Oracle'овых БД для тесткейсов часто используем генераторы строк вида "select rownum id, lpad('x',30,'x') from dual connect by level

[@EugeneSuleimanov]

Спасибо за комментарий! Цель - показать именно основы, потому что многие люди никогда не сталкивались с таким типом задач в принципе. А реальная оптимизация куда сложнее и коварнее.

[@BGlazyrin]

@@EugeneSuleimanov Да я же не агитирую Вас усложнить сам запрос и его анализ. Не хотите объяснять работу генератора строк, скажите, что не поленились и написали 10 тыс insert'ов руками. Тогда и результат оптимизации в секундах будет более существенным.

[@МихаилА-у3л]

Если придираться, то тогда для более верного сравнения стоимости запроса лучше выполнять его на разных данных и несколько раз.

[@MadMax-mz5zu]

👍👍

[@aazubakin]

Получается индекс из таблицы из которой мы пишем forieng key не создается автоматом при указании связи (developer_id) а создается у той таблицы на которую ссылаемся developers_id?

[@EugeneSuleimanov]

Верно, Postgres не создает индекс для внешнего ключа автоматически. Автоматически создаются индексы для первичных ключей и уникальный полей.

[@cosmo_polit]

thanks, that was very helpfull

[@EugeneSuleimanov]

Thank you for the comment!

[@admiralakbar1936]

6:38 а как получилась итоговая сложность? она где-то написана в выводе explain-а (не вижу), или вручную пришлось сложить сложности? Большое спасибо за видео, качественно и информативно. Про explain на собеседованиях уже спрашивали, теперь понятно откуда начинать)

[@EugeneSuleimanov]

Да, просто сложил общую сложность :)

[@ФомаФомин-с7е]

Спасибо за видео! Вопрос. А есть ли смысл в данном случае вместо двух индексов сделать один индекс на 2 поля (developer_id и created_at)? поскольку джойн по им обоим одновременно идет

[@EugeneSuleimanov]

Да, можно попробовать сделать такой индекс. Спасибо за отзыв!

[@aksndr61]

А можно ж было сделать функциональный индекс с экстрактом месяца по колонке с датой. Или виртуальную колонку, плюс партиционирование по ней.

[@EugeneSuleimanov]

Это уже не основы, а несколько более продвинутый подход. И спасибо за комментарий.

[@vladislavstepanov7591]

смысла в этом нет, только раздувание данных в таблице

[@svetlana4530]

Спасибо за видео! Для учебных целей очень хорошо, наглядно - многие начинающие просто пишут запросы лишь бы заработало. Оптимизация - это следующая ступень эволюции 😊 Есть ли бесплатный аналог инструмента, которым вы пользовались, доступный из России без всяких vpn-ухищрений?

[@EugeneSuleimanov]

Спасибо за отзыв! Касательно аналога - PG Admin - стандартный интерфейс.

[@svetlana4530]

@@EugeneSuleimanov спасибо, но, кажется там нет наглядного отображения плана запроса. Или есть?

[@EugeneSuleimanov]

@@svetlana4530 верно, только raw описание, к сожалению.

[@coolbrain]

Jetbrains со своим Data Grip послал Россиию на 3 буквы насколкьо я знаю, или что то поменялось ? У меня все платные аккаунты заблочили в этом году

[@ercefwxdx]

Дякую

[@EugeneSuleimanov]

Дякую за коментар!

[@БорисИванов-я9м]

А ты уверен, что показывает не сразу всю сумму поддерева?

[@artemseleznev3469]

фактологическая ошибка.... косты не надо суммировать, их общая стоимость уже приведена в первой строке explain

[@EugeneSuleimanov]

Спасибо за уточнение!

[@Kentatsu1]

В конечном итоге можно ведь сократить запрос до обычного селекта по таблице tasks, джоин лишний

[@EugeneSuleimanov]

Здесь был задел на то, что будут запрещены данные developer. Но и пример учебный.

[@rudolfsikorsky7900]

Спасибо. К сожалению, вся эта красота от JetBrains работает не со всеми БД. И если бы Евгений писал не свой большой и красивый монитор, а маленький - ноутбучный, то зрителям было бы видно гораздо лучше :)

[@EugeneSuleimanov]

Спасибо за комментарий! По размеру шрифта, постараюсь учесть и справить на будущее :)

[@СергейПанин-л6к]

Вы стоимость неправильно считаете и вводите людей в заблуждение. "Важно понимать, что стоимость узла верхнего уровня включает стоимость всех его потомков" цитата из документации postgresql.

[@EugeneSuleimanov]

@@СергейПанин-л6к да, вы абсолютно правы, большое спасибо за конструктивную критику. Я допустил ошибку.

[@dmytromatvieiev8932]

Цікаво, що ваш сайт заблокований для доступу з України)

[@EugeneSuleimanov]

Проверю, спасибо за сигнал.

[@Oldstav]

Это просто отвратительно 2:30 Автор: Давайте выполним вот такой запрос Ответ: давайте мы не выполним такой запрос… Для того чтобы писать запросы а тем более их оптимизировать, нужна четко поставленная задача от заказчика. И где оно? Т.е. берем какой-то работающий запрос от балды из продакшина и без постановки начинает его «оптимизировать». Ты условие начальное видел, что убираешь один джоин и меняешь тип второго? Как можно менять extract на интервал, если там дата не за один год? Ну добавь 01-01-2022 и результат не сойдется. Про функциональный индекс на базе extract автор даже и не думал. Вопрос автору - куда ты лезешь ничего не понимая в предметной области и что ты хотел донести до аудитории? А потом все слушатели которые тут отлайкали начнут с таким подходом писать такой же говнокод и таким же подходом - читай со свиным рылом лезть в калашный ряд - продакшин

[@EugeneSuleimanov]

Спасибо за ваше мнение.

[@МихаилА-у3л]

Всем икспердам желаю меньше пафоса. Ведь вы никогда не расскажете, как сами пока росли облажались не раз на коммерческих проектах.

[@PurpleDaemon_]

11:42 это опять внешний ключ, индекс и так был.

[@EugeneSuleimanov]

В Postgres внешний ключ по умолчанию не индексируется. Только первичный и unique constraint.

[@Krasnolesye]

Со смартфона - ничего не могу разобрать, сильно мелко. А так материал - ОК. Спасибо

[@EugeneSuleimanov]

Спасибо за комментарий!

[@rustregas93]

И зачем суммировать стоимость костов? тебе последний шаг и так сумму выдал всех предыдущих шагов.

[@alekseysverbeev2934]

Обзор инструментов интересный, но конечно оптимизация притянута за уши, потому что изначальный пример взят из книги "как писать не надо". Такие вещи и интуитивно понятны, никто же в здравом уме не будет сравнивать месяц в дате с единицей - это как минимум даст неверные данные (за все года). Интересно было бы посмотреть как оптимизировать запрос который большой, "всю жизнь" работал, но под увеличенными нагрузками устал.

[@EugeneSuleimanov]

Спасибо за комментарий! Пример как делать не нужно из палаты мер и весов :)

[@МаксимЖивотовский-ц8о]

+

[@EugeneSuleimanov]

Спасибо за поддержку!

[@sergeykovalev7276]

Евгений спасибо огромное! У вас есть ошибка в последнем запросе: должно быть created_at >= '2023-01-01', но на результат не влияет

[@EugeneSuleimanov]

Спасибо за отзыв! Да, уже подсказали об ошибке, спасибо :)

[@paskonat]

Когда невозможно придраться к форме, придираются к содержанию. Евгений, у Вас в конечный результат не попадает 1 января, и, соответственно, вся аналитика идет по другой борозде. ))

[@EugeneSuleimanov]

Справедливо :) Спасибо за комментарий!

[@N5O1]

неужели ютуб начал советовать нормальные материалы =)

[@EugeneSuleimanov]

Спасибо за комментарий!

[@ThomasLinkzat]

Очень мало обьяснения понятий. Что за начальная сложность, что за конечная сложность. Не обьяснили чем скобки помешали. Не обьяснили этапы которые почему то ушли после оптимизации. Очень сумбурное видео. Вам не хватает сценария чтоли. Но идея хорошая.

[@EugeneSuleimanov]

Спасибо за отзыв и вообще мнение!

[@ИванИван-х7у]

полная чушь расскажите хотя бы человеку, что бывает предварительный план выполнения, а бывает реальный

[@EugeneSuleimanov]

ИМХО для человека, который только знакомится с оптимизацией запросов - это уже не совсем основы. Более серьёзные подходы и теоретическая база требует большего времени.

[@С.Семенчук]

Столько глупостей наговорил. Может не стоит с такими поверхностными представлениями из чужой области лезть учить других?

[@blindbird1619]

Странная оптимизация. "Уберем лишнюю таблицу из запроса"... Дак это так можно надобавлять в запрос 50 ненужных таблиц, а потом героически с ними справиться. Кто будет добавлять в свои запросы ненужные таблицы?