Базы данных. MySQL. Индексы

Презентация:
docs.google.com/presentation/...
Практика:
docs.google.com/spreadsheets/...
Тестовая база:
drive.google.com/file/d/1ccga...
В этом занятии:
- Проблематика
- B-tree
- Индекс по одному атрибуту WHERE
- Индекс по нескольким атрибутам WHERE
- Индекс WHERE + ORDER BY
- Селективность индекса
- Explain
- Показать использование только части индекса
- Ограничения
- Производительность
По любым вопросам, связанным с курсом можно писать на почту: [e-mail]
Личный канал Антона: / @about-code

[@ev8317]

Это настолько офигенное видео, что я даже оставлю комент! Спасибо Вам, мужики!

[@Rclass]

Спасибо ^_^ мы старались )

[@ufear2569]

@@Rclass ахах, под таким даже захотелось оставить ответ, действительно, спасибо)) очень хорошее видео!

[@Rclass]

@@ufear2569 и вам спасибо за отклик :)

[@ShomaAbd1991]

Поддерживаю! Лайк или ilike '%'

[@Rclass]

@@ShomaAbd1991 Спасибо! Мы старались :)

[@user-_kirill]

Чувак, ты классный учитель. Умеешь заинтересовать) До этого видео я думал "пф, ускорение какое-то, явно ерунда" , а тут ты последовательно показал как это может работать, и на сколько колоссальное ускорение. СПАСИБО )

[@Rclass]

Спасибо, мы старались ^_^

[@marinabo6779]

Дружище, спасибо за твой труд! Очень классное видео

[@Rclass]

Спасибо что смотрите, мы старались :)

[@ineednew9437]

Максимально качественное видео, спасибо :)

[@Rclass]

Спасибо, стараемся ^_^

[@user_noname_78dgdh]

Огроменное спасибо за урок. Чётко, лаконично, по существу без лишней воды.

[@Rclass]

Спасибо, мы старались ^_^

[@oksana-yehorova]

это самое лучшее видео про индексы, которое я видела. доходчивое объяснение

[@Rclass]

Спасибо, мы старались :)

[@user-tt5rs1us5g]

По край ней мере лучше чем в вузе!) Другие видео про индексы еще не смотрел

[@oksanayehorova]

@@user-tt5rs1us5g в вузе о них не было ни слова. По крайней мере в моем

[@user-ve7dz4mt6s]

Супер, спасибо за видео!

[@mitya7583]

Супер))) Создал БД, начал смотреть ваше видео и ставить индексы. В конце видео оказалось, что они не нужны, на малом кол-во записей и убрал их :-) Было очень интересно. Узнал много нового))) спасибо за ваши старания)

[@Rclass]

Рады, что помогли ;)

[@pozytron-code]

аналогично)))

[@alexeyyakovlev7022]

Все зависит от того что называть под "малым" , как правило индексы если правильно сделаны ускоряют все с размеров в 100 записей и больше . Все советы не делайте на малых базах глупы , просто померяйте , конечно может какие нибудь 50 мс для вас значения не имеют . но для частого использования и больших систем - очень . совет основывается на том что на поддержание индекса тратятся ресурсы , но они тратятся в момент записи а не чтения . а пользователю надо чтение .

[@guilbertde1516]

Отличный ролик, много полезной инфы доступным языком! Спасибо!

[@Rclass]

Для вас стараемся ;)

[@leventinaglans5425]

Звук в этом видео ГОРАЗДО лучше, чем в предыдущих! Качество и чистота

[@Rclass]

Спасибо, в этом видео звук снимали непосредственно с рекордера, в предыдущих был петличный микрофон. К сожалению, такого звука можно добиться только на скринкастах, а наш уважаемый спикер больше любит вещать вживую у телевизора :(

[@sergei_vilgodskii]

Очень просто и понятно объяснил, большое спасибо!

[@Rclass]

Спасибо, мы старались :)

[@yurilukashenko3175]

Реально лучшее объяснение по индексам, спасибо)

[@Rclass]

Стараемся для вас :)

[@donfedor007]

Урок огонь! Спасибо Вам!

[@Rclass]

Для вас стараемся :)

[@dmitrii4383]

Очень подробно про крайне важную тему! Спасибо

[@Rclass]

Спасибо, мы старались :)

[@whoknows921]

Понятно и приятно! Спасибо 🙏

[@Rclass]

Спасибо, мы старались :)

[@invisibleinvisible83]

Спасибо очень крутое видео, все просто и понятно 🙏🏻🌹 Процветания каналу

[@Rclass]

Спасибо, мы старались :)

[@shazplay8878]

Спасибочки!!! Годное видео ❤️

[@Rclass]

Спасибо, мы старались :)

[@coconut_punker]

Спасибо за видео и практику!

[@Rclass]

Вам спасибо за отклик :) Стараемся ^_^

[@YuriyKozin]

Как-то запускал explain и смотрел на него, как баран на новые ворота. Теперь все ясно. Спасибо!

[@Rclass]

О сколько нам открытий чудных готовит этот SQL...

[@meteysh]

Ну очень круто все объяснил и рассказал!

[@Rclass]

Спасибо большое, стараемся. ^_^

[@user-jy4kq8or8z]

Спасибо за отличное объяснение!

[@Rclass]

Всегда пожалуйста :)

[@maxx27i]

Спасибо! Прекрасное объяснение! 👍

[@Rclass]

Спасибо, мы старались :)

[@kirillverenkov5942]

Спасибо, очень крутое объяснение! Пойду смотреть другие видео

[@Rclass]

Спасибо, мы старались :)

[@user-fq4pc7fm2z]

Спасибо! очень полезный урок!

[@Rclass]

Спасибо, мы рады что вам понравилось!

[@alko_borz]

Спасибо за видео, очень доступно и понятно

[@Rclass]

Благодарим за сей приятный отзыв!

[@dedpihto680]

наконец то нечто интересное и достаточно трудно находимое в интернете. (найти то конечно можно в документации но при этом придется перелопатить кучу лишнего)

[@Rclass]

Спасибо, мы старались :)

[@user-jx5fu2bn7u]

Просто красавчик, спасибо! С меня подписка и лайк)

[@Rclass]

Ай спасибо!

[@askaraskar3665]

Лайк,подписка! Начинаю смотреть и изучать остальные видосы

[@Rclass]

Спасибо, мы старались :)

[@Dastan1910]

Очень крутое видео, спасибо!

[@Rclass]

Спасибо, мы старались :)

[@karinalazareva6123]

Огромное спасибо! Однозначно ЛАЙК.

[@Rclass]

Спасибо, мы старались!

[@maks-T1000]

Отдельное спасибо за базу))

[@Rclass]

Вам спасибо) Мы старались ^_^

[@Der_Meister126]

Как к ней подключиться ?

[@user-gf5jd2zs7m]

Спасибо, все очень понятно

[@Rclass]

Спасибо за отклик, мы старались ^_^

[@dayverul]

Смотрел другое видео от Антона, заочно лайк! "Отдай свежатину!"

[@Rclass]

Спасибо! :)

[@mikhailzhevaga4310]

Спасибо за видео! Надо было посмотреть его до прохождения собеседования, не выглядел бы тупым в вопросах индексирования. :) Хотя собеседование все же прошел) Like + Subscribe !!!

[@Rclass]

Спасибо, мы старались :)

[@user-pg8ry1tm3t]

Ну, учитывая что сортировка займёт не менее nlg(n), если она идёт сравнением,то это как бы не lg(n)… есть ещё кстати прошитые b-tree… чуть побыстрей работают

[@Adaetro]

Действительно стало понятно

[@Rclass]

Спасибо, мы старались :)

[@ZhEcA03]

Спасибо за видео

[@Rclass]

Спасибо,мы старались :)

[@user-bu3hz5be5w]

Очень полезно, спасибо!

[@Rclass]

Спасибо, мы старались :)

[@fresh_wind87]

Вы гений!

[@Rclass]

Спасибо большое, мы старались :)

[@user-fj7on8le9g]

Да ладно наконец то я нашел нормальное объяснение индексов , спасибо!

[@Rclass]

Спасибо, мы старались)

[@romandeveloper5653]

Мужик, красава!

[@Rclass]

Ай спасибо :)

[@invisibleinvisible83]

У нас тоже не восьмерка)) ничего живем. Да explain analyse очень крутая штука и да, в любой СУБД надо следить на индексами, особенно в Postgres

[@Rclass]

Под каждым словом подписались )

[@m-danya-327]

Спасибо! Привет всем СПшникам)

[@Rclass]

Спасибо что смотрите :)

[@ivanssmirnoff]

Полезно. Спасибо!

[@Rclass]

Спасибо что смотрите :)

[@fibonacci9961]

Хорошо было бы ссылки из презентации в описании оставить👌

[@Drdeathpanda91]

Выполняю задания. Написал запрос из предпоследнего задания: select * from workers where role ='инженер' and birthday between '1979-12-01' and '1980-02-01' order by first_name, last_name; Проверка показала, роли имеют в среднем по 10к записей на роль, даты - по 100. Из чего получается логично сделать индекс birthday, role. Однако на деле индекс birthday, role дает результат (cost=6349.76 rows=14110) (actual time=6.038..6.097 rows=71 loops=1) , в то время как role, birthday (cost=32.21 rows=71) (actual time=0.749..0.805 rows=71 loops=1). Правильно понимаю, что это связано с between, а точнее с тем, что он собирает большое кол-во дат, а после по ним производит поиск и находит еще тучу ролей, в время как при role, birthday роли сокращают список возможных дат и идет проверка уже среди набора дат?

[@alexeyyakovlev7022]

Первое , использовать строки это означает снизить скорость в разы . пропорционально размеру ключа . потому лучше иметь отдельную таблицу под роли , а в основной таблице использовать только int значение ,. теперь второй вопрос - почему так с индексом случилось - тебе дяди что видео сделали врядли ответят , потому что в postgres поле по которому выбирается range , т.е. between или A > 100 and A < 300 , должно идти последним в индексе . только в этом случае будет задействован индекс как index scan , в противном случае это или seq scan или bitmap scan . но этого дяди не знают , это не ихнее .

[@alexanderkuznetsov2817]

Спасибо за видео! А если добавить новый индекс - будут ли старые записи в таблице (которые уже там были до добавления нового индекса) проиндексированы по новому индексу? (извиняюсь за тавтологию)

[@Rclass]

Да, конечно. Запрос не завершится, пока не будут проиндексированы все записи. Иногда это весьма не быстрый процесс)

[@Zero-oh8ib]

из 2021 привет, видео топ

[@Rclass]

Спасибо! Мы старались)

[@websoda]

Ждём стрим

[@Der_Meister126]

Без воды ! Можно вынести ссылки на доп. источники в описание видео ? Также было бы удобнее расставлять time-коды по ролику

[@Rclass]

Спасибо! Да, будем работать над этим.

[@43Dipall23]

5:40 - Катастрофически сильное ускорение. Так хорошо что аж плохо

[@Rclass]

Не очень понятно что имеется ввиду(

[@43Dipall23]

@@Rclass Мне просто фраза понравилась, вроде говорится об ускорении, что хорошо, но при этом применяется эпитет "катастрофически" который вроде бы имеет отрицательный оттенок

[@Rclass]

@@43Dipall23 а) ну, есть такое, да :)

[@RS-ue4wg]

Так это ж! структура данных - дерево поиска. не зря сдавал СИАОД (Структуры и алгоритмы обработки данных)

[@Rclass]

Именно так! :)

[@Bguiysigziggzog]

Лойс

[@Rclass]

Спасибо, мы старались :)

[@standarttechnology4477]

Спасибо, но один момент не понятен. По b-tree индексу. Это алгоритм индексов по умолчанию в бд или мы вручную как то устанавливаем использовать индекс в рамках данного алгоритма (берём середину, разделяем, сравниваем и тп..). Мне как новичку не совсем понятно. Откуда берётся этот алгоритм.

[@user-tt5rs1us5g]

12:00 Категория и цена

[@vladzaiko5012]

Если у нас составной индекс (price+category) важен ли порядок колонок в запросе в секции where ?

[@deadmaster1659]

mysql сам может переставлять порядок запросов в where

[@floydzxc]

Спасибо круто объяснил, а есть ссылка на базу которая использовалась в уроке? потому что ссылка в описании на другую базу

[@Rclass]

Пожалуйста, увы, уже нет(

[@not_psychology]

класс! воды нет

[@Rclass]

Спасибо, мы старались! :)

[@user-nb5xw5tr5g]

Жаль, что про составные очень мало информации в видео. Там много особенностей. Еще, если указать после EXPLAIN, format=json будет гораздо больше информации об индексах

[@Rclass]

Спасибо за комментарий :) Курс скорее вводный, поэтому много чего нет )

[@pyrkinvanya1]

А можно как то посмотреть что находится в B-tree? Запросом может каким то?

[@theAntoshka]

У менее уникальных колонок, выше селективность (использовать первыми) 16:02

[@Rivrabobra]

Я правильно понимаю, что у СУБД есть доступ к БД, при обращении пользователя к БД через СУБД СУБД обновляет индексы, если это необходимо? Это так +- устроено?

[@Rclass]

Достаточно сложно представить себе ситуацию когда вы будете обращаться к БД минуя СУБД. +- при определенном приближении да, вы правы.

[@mr.cannabis471]

еще 10 таких и мидл

[@seoonlyRU]

да, просто офигенно)) лайк от СЕООНЛИ - топового вебмастера и проггера

[@Rclass]

спасибо, мы старались :)

[@olegol7336]

Как понять как часто используется тот или иной индекс ?

[@user_noname_78dgdh]

Хотелось бы поподробнее узнать в каких случаях индекс вредит и какие расчёты при этом делаются. Просто информации о том что при вставке и ибновлении не совсем достаточно.

[@Rclass]

Добрый день! Затраты сводятся к пересчету индексов, не более. Вот только если их много или они объемные, это может занять время и ресурсы. А если взять кейс в котором вставка в таблицы с ненужными индексами будет регулярной и объемной, то можно получить уже ощутимую просадку производительности.

[@Rclass]

Некорректный индекс даже при выборках может чуть-чуть вредить, иногда full scan будет быстрее.

[@user_noname_78dgdh]

@@Rclassк примеру у меня есть таблица в которую постоянно летят записи и из этой таблицы у меня так же идут постоянно выборки. Записей до несколько сотен тысяч в день. Если я создаю индексы в этой таблице, то они нагружают сервер при перестроении индекса, если индексы не вставлять, то получается полный скан таблицы в которой миллионы записей. Как поступать в этом случае?

[@Rclass]

@@user_noname_78dgdh если польза от индексов очевидна в вашем случае - то пользоваться, как же иначе :)

[@ardixq]

в конце ссылки есть, что нужно почитать, а в описании их нет. где их можно найти?

[@Rclass]

Презентация приложена к каждому видео, там ссылки кликабельные :)

[@ardixq]

@@Rclass а, ого, вотета технологи на пыхе

[@ilyaponomarev9279]

Я не понял как получилось всего 14 проверок. То есть да, за 14 проверок мы нашли компанию ZEUS, но ведь к этой компании может быть привязано несколько тысяч товаров, то есть количество проверок в итоге точно больше 14, или я что-то неправильно понял?

[@Der_Meister126]

Вынесите пожалуйста ссылки на доп. источники

[@_bigbro]

а кто-нибудь может посоветовать хорошую тестовую базу с большим количество данных и "плохими" кейсами как дублирующиеся ключи и проч? например чтобы были 10 табличек на 10млн строк?

[@Rclass]

Возможно, проще сгенерировать таковую. Займет это не так много времени, зато будет полностью отвечать вашим требованиям.

[@ivansinelnyk825]

на 8:29 сказано, что log2(1)=1. Это не верно - log2(1)=0

[@Rclass]

Ага, обсчитались видимо. Спасибо :)

[@web_kub]

11:48 думаю что (цена, категория)

[@web_kub]

ееес!

[@scum9180]

Как бинарный поиск работает с буквами?

[@Rclass]

Немного не поняли в чем сложность? Слова = массив чисел (грубо). А с числами проблем нет - бери и сравнивай/сортируй.

[@itshtuchki]

Оставьте ссылки из "Прочитать и изучить" в комментариях или в описании видео. Не возможно такое набрать или скопировать.

[@Rclass]

Изначально задумано что вы так или иначе будете работать с презентацией, благо оттуда можно быстро копировать код. Поэтому ссылки изначально там и лежат)

[@itshtuchki]

@@Rclass да, Я так и сделал потом, но вот первая ссылка уже не работает.

[@user-kc9ne2zw8p]

Спасибо, это вот полезно было. А про партицирование, шардирование, реплецирование я так понял нету? Хотя партицирование и шардирование редкий кейс, но тем не менее было бы думаю интересно знать что и так можно если прям много записей. К тому же это можно совмещать.

[@Rclass]

Курс скорее ознакомительный, поэтому таких кейсов нет, к сожалению.

[@TeuFortMan]

Разница между 0,8 мс и 0,9 смахивает на погрешность.

[@Rclass]

Хорошее замечание, это усреднённые значения после 20 прогонов. Тенденция прослеживается на самом деле :)

[@ProRezak]

Попробовал сделать как рассказано тут, скорость обработки запроса снизилась с 6с до 70мс! Как такое возможно в реальной то жизни?!

[@socvopros]

Скорость увеличилась

[@andreykultyshev480]

если база из 100 строк, то накладные расходы субд на индексы будут выше, чем перебор 100 строк)

[@user-pg8ry1tm3t]

Интересно, что есть скорости доступа менее 1 мс…

[@s_bandera]

Смотреть на скорости 1.5

[@Rclass]

Издержки онлайн-лекции, к сожалению :(

[@user-wk5fm5qw1f]

исключительно на х2 смотрю 99% обучающих видео

[@renakdup]

в UTF-8 максимальное количество байт = 4, а у вас сказано 3

[@Rclass]

Спасибо за отклик, обязательно разберемся.

[@free_dm4632]

в MySQL utf8 3 байтовый, урезанный, utf8mb4 - 4 байтовый, полный. Так что все верно.

[@coconut_punker]

Вроде это называетсо бинарный поезг а не B-tree индегз, или я штотапутаю?

[@Rclass]

Принцип B-tree индегза основан на бинарном поезге, всёнорм

[@alexeyyakovlev7022]

Базы - это не ваше ... это крайне примитивный взгляд .

[@Rclass]

Спасибо за ваше мнение, мы обязательно его учтём, без сомнения!

[@alexeyyakovlev7022]

@@Rclass вы заводите в заблуждение подписчиков . с точки зрения человека который работает с терабайтными базами - 50% вашего видео полная дичь .

[@jellyfish6265]

видео ни о чем, как и все у данного автора

[@Rclass]

Ух ты, Хейтеры! 😄

[@getright20]

с вендором эти пример кластерного или не кластерного индекса?

[@PomogB]

"Указания покрытия, про это отдельно почитайте" 😅😅😅, где блин?