Что такое SQL ИНДЕКСЫ за 10 минут: Объяснение с примерами

События и статьи про анализ и проектирование ИТ-систем - t.me/itsysdes_events
В этой статье мы узнаем:
- Что такое индексация в SQL
- Для чего нужна индексация
- Как работает индексация
- Что такое двоичный поиск
- Что такое план выполнения запроса
- Когда лучше использовать индексы
- Когда лучше НЕ использовать индексы
- Что такое кластеризованный индекс
- Что такое некластеризованный индекс
Поддержать канал разово - yoomoney.ru/to/410012243709514
Поддержать канал подпиской - boosty.to/listenit
Я.Дзен - zen.yandex.ru/listenit
Телеграм-канал - t.me/listenit_channel
По вопросам сотрудничества - t.me/ed_akimov
Ссылка на статью 1 - / %d1%81%d1%83%d0%bf%d0%...
Ссылка на статью 2 - webformyself.com/sql-indeksy/...
Что такое SQL и реляционные базы данных - • Что такое SQL и реляци...
Синтаксис SQL запросов: Часть 1 - • Синтаксис SQL запросов...
Что такое NoSQL за 6 минут - • Что такое NoSQL за 6 м...
Что такое ACID за 9 минут - • Что такое ACID за 9 минут
Что такое UML за 7 минут - • Что такое UML за 7 мин...
Что такое Scrum за 8 минут - • Что такое Scrum за 8 м...
Обзор Agile - • Обзор Agile. Это метод...
Приоритизация бэклога за 4 минуты - • Приоритизация бэклога ...
Что такое Kanban - • Что такое Канбан-метод...
Что такое Канбан-доска - • Канбан-доска - это не ...
Что такое HTTP и HTTPS за 9 минут - • Что такое HTTP и HTTPS...
Машинное обучение для чайников - • Машинное обучение для ...
Что такое Big Data за 6 минут - • Что такое Big Data за ...
Что такое CRUD за 6 минут - • Что такое CRUD за 6 минут
Введение в REST API за 7 минут - • Введение в REST API за...
Различия REST и SOAP за 4 минуты - • Различия REST и SOAP з...
Что такое middleware за 7 минут - • Что такое middleware з...
Что такое UML за 7 минут - • Что такое UML за 7 мин...

[@LeonidYakovlev85]

Большое спасибо за выпуск. Интересно, содердательно и информативно 👍

[@user-bx5jw2ws7h]

10/10 за разъяснение этой темы. Все наглядно и понятно. Проходил обучение по SQL на степике : там это максимально непонятно объяснили. Поделюсь ссылкой в обучении

[@user-qj1sp9ve9c]

👍

[@user-kw7vn6vd8k]

Спасибо за видео. Для начинающих то что надо! С Новым Годом!!! Удачи и развития канала!!!

[@old-empire]

Офигенно! Спасибо!

[@blindbird1619]

Очень доходчиво объясняете. Спасибо!

[@nyaetotmogno]

Спасибо большое! отличная статья!

[@natielsanti407]

Спасибо за видео!

[@user-le6ix1ud3f]

Спасибо большое. Было очень интересно ❤

[@user-qj1sp9ve9c]

Прекрасная подача материала, ёмко, доступно, понятно; оформление презентаций очень стильное, на манер граф. оболочки под Dos😎 Лайк, подписка, приметил и другие ролики на канале после этого, в частности, оконные функции:).

[@user-qj5jr8ps8s]

Подача огонь, спасибо!

[@yandoru]

Отлично, спасибо!

[@shutka80]

Классный у тебя канал. Очень понятно рассказываешь о неочевидных вещах. И круто, что раскрываешь принцип работы под капотом, очень помогает понять логику работы, а следовательно и смысл всего происходящего. Спасибо!

[@ListenIT_channel]

Спасибо тебе, очень приятно! И, конечно, авторам статей спасибо, прежде всего

[@user-rt4ye5xg1h]

От души, парни! С новым годом вас))

[@ListenIT_channel]

С Новым Годом! 🎄

[@SuperWolchara]

спасибо за разъяснения, сейчас как раз занимаемся оптимизацией индексов из за падения производительности

[@shmeserworking7596]

Прекрасная подача материала, приятная речь, минималистичное оформление в стиле DOS вообще блеск. Ставлю 5, давай зачётку))

[@dingo05]

Вы что препод?

[@dmitrylerner1378]

В некластерном индексе маленькая ашипка: сначала должен идти shoes, затем sports-) Но в целом это не умаляет вклад автора в доступное и быстрое развитие интересующихся! Спасибо!

[@cor4win]

Странно, что тут не упомянуто самое главное - почему же собственно поиск по индексу быстрее, чем поиск по оригинальному полю таблицы. А все потому что индекс имеет структуру, оптимизированную под поиск, например, сбалансированное дерево в случае sql server. Но в целом неплохо, и за дизайн заставок к роликам большой лайк :)

[@agelyuri]

6:50 объяснение производительности индекса

[@tomozi1]

Отличная статья

[@user-lq5xw7hm4c]

прикольно. как раз стало интересно что такое SQL.

[@Cp3aloona]

лучший канал, надеюсь тут все ответы получу, на свои вопросы.

[@ListenIT_channel]

Буду работать над тем, чтобы получил) Спасибо!

[@andrewbelikov8772]

Круто объясняешь! Вначале не понял отличия по индексам, почитал на сайтах, снова глянул и как понял ))) Ну или показалось, что понял )) Пока сам не сделаешь, вроде все понятно

[@firston5360]

Ну это просто 🔥🔥🔥 на пальцах, как ребёнку из детского сада объясняется😅 так и должно быть

[@leopard184]

Хороший канал.

[@Kvit_Domosed]

Спасибочки

[@user-qv2de6vg2f]

Thank you

[@user-bt4ew5cc6u]

огонь )))

[@Dima_Bash]

Спасибо) Понял как искать нужную инфу в таблицах. До этого просил ребят запрос состряпать)

[@ListenIT_channel]

Круто, что пригодилось) Удачи!

[@lonelypaul69]

@@ListenIT_channel 9:50 "Методом двоичного поиска находит ..." Как по значению 'electronics' может производится двоичный поиск? Вопрос в том, что непонятно, как находятся все указатели исходя из ключа?

[@farukhkarimbayev7178]

Лучший канал, на который подписался в 2022)

[@Deletedeletedelete]

Молодец!

[@akimovvadim4736]

А вы можете озвучить тот большой курс по Flask опубликованный на habr-е?

[@Igor245390]

Спасибо, подчерпнул для себя нужную информацию. Но остался вопрос. Если при создании таблици создается столбец и у него есть параметр 'UNIQUE'. Создается ли индекс, по аналогиис полем ID? или что происходит?

[@Tolmachovtv]

Дуже просто, доступно і ефективно пояснив! Дякую, натхнення тобі!

[@user-hw1gg1mp1f]

Очень поверхностно, но для введения в тему за 10 минут хорошо.

[@sorryladies6191]

Поставил Вайк!

[@olzhikggg6915]

молодец

[@Chel1k7]

я правильно понимаю исходя из концовки видео, что ту же таблицу Product в бд магазина лучше не индексировать ? Ибо в ней часто происходят обновления (цен например) и добавления товаров. Тогда почему в самом начале пример про Амазон где явно так же часто происходят обновления товаров

[@MichailFort]

Nice)

[@user-kk9vl4jd5y]

8:30 правильно понимаю, что в product_category_index две последние записи перепутаны местами?

[@TNamiNa]

Очень поверхностно

[@jy4apa165]

По поводу правильного использования индексов не до конца понял. Что подразумевалось под обновлением БД? Новые какие-либо записи или обновление таблиц при миграциях?

[@Kirill.Bogdanovich]

Подскажите подажалуйста как делают такие видео? Как делают такую анимацию и где об этом модно узнать подробнее? Оочень буду благодарен вам за ответ)))

[@user-bk1wk7ey1s]

Я не понял как по не кластеризованному индексу БД ищет двоичным поиском? Там Id должен быть отсортирован для этого?

[@Denisko123]

Раньше тыркал индексы везде, но админы начали материться. Таблица весит несколько террабайт и почти на каждом поле индекс )

[@scpfan4302]

Кластеризованный индекс не использует первичный ключ для структуризации данных! Первичный ключ служит для целостности данных, и то, что он по умолчанию создаёт кластеризованный индекс - стандартное поведение, а не аксиома

[@racoobina]

А есть подкасты на яндекс-музыке с тем же материалом?

[@ListenIT_channel]

Всё планирую, но пока руки не дошли сделать подкаст

[@walcermelodia]

а индексы ускоряют join'ы? когда например ... join ... where id = .... и т.п.

[@AlexanderZolnikov]

Видео, по определениям в нем, относится к мс скл, ван лав, но стоит об этом уточнить. Другие БД могут работать по другому..

[@qlmanlp]

5:44 Как индексы обновляются не будут, если несколько секунд ранее было сказано, что они обновляются после каждого добавления?

[@arthuryadgarov2375]

Двоичный поиск очень похож на метод Ньютона для поиска решений уравнений. Это он?

[@don-kg2hh]

Вроде поиск по индексам не всегда считается за logn. Все зависит от структуры данных, в которой они и хранятся. Можно выбрать индексацию с помощью хэш-таблицы, где сложность поиска O(1), но есть нюансы, связанные с хранением.

[@andriipetko8684]

Нюанс заключаеться в том в том что не будут работать с индексом операции , только равенство в запросе. Так как без понимания в "какую сторону" идти бинарный поиск использовать не получиться.

[@uzurbatya]

6:40 Зачем использовать бинарный поиск, когда известен первичный ключ?

[@imuqqieg9274]

Если таблица делится пополам, и искомые данные есть и в первой и во второй половине таблицы, как тогда поиск происходит?

[@user-ix4cm7ch5z]

скорее всего другой поиск тогда работает ,либо возвращается потом во вторую половину

[@mihax56]

не существует в природе таблиц, отсортированных по первичному ключу - на диске это всегда фарш. поиск всегда идет по индексу, т.е. бинарному дереву в общем случае.

[@dmitriypolynin7273]

Поиск идет по отсортированному по условию индексу, файлу индекса, который отдельно от таблицы и много меньше таблицы. После по ссылке прыгаем на запись таблицы. Все это происходит автоматически во время запроса, ничего не нужно мудрить. Если индексы правильно сделаны то работает быстро. На собеседованиях умные девочки мнящие себя программистами задают вопросы типа - чем пользуетесь что бы оптимизировать работу БД, подразумевая что ты должен им живо рассказать о владении какой ни будь модной программой оптимизатором. Я всегда говорю что пользуюсь мозгом.

[@IlyuhaaaSuper]

В примерах в которых сказано, где лучше не использовать индексы было сказано, что лучше не индексировать столбцы, которые часто обрабатываются. Что понимается под обработкой столбцов?

[@user-md8gg5ef6c]

скорее всего автор имел ввиду операции UPDATE, т.к. после них обязательно будет реиндекс таблицы, что накладно

[@uzurbatya]

Где там такое сказано? Таймкоды всегда ставь, если хочешь, чтобы тебе ответили

[@SuperWolchara]

а как ведет себя кластеризованный индекс если первичный ключ является составным из двух внешних ключей в таблице и как таковой "физической" колонки первичного ключа нет

[@---fq2cz]

4:05. Не бывает САМОГО оптимального пути😅Он либо оптимальный, либо нет. Мой препод дал бы по шапке за это😂

[@reepka4871]

Это скорее придирка к словам.. А так то можно ещё вспомнить, что есть локальные оптимумы, а САМЫЙ оптимальный тогда - отнести глобальному оптимуму 🤷‍♀️

[@alexalex543]

Как ищет бинарно число понятно, а как ищет категорию, где значение это строка?? Как он сравнивает текст по бинарному поиску... (пример некластеризованного индекса)? Кто то может пояснить?

[@yodapunishes]

Любой текст это представление в определенной кодировке, то есть где символу соответствует число

[@arshanskiysergey2791]

а зачем нужен кластеризованный индекс, если он полностью копирует колонку с первичным ключом? Почему тогда сразу по таблице и не искать - по этой самой колонке?

[@arshanskiysergey2791]

наверное для оптимизации: чтобы была возможность быстро выгрузить таблицу индексов в память и найти в ней нужный элемент. А основная таблица может быть во много раз больше, поэтому ее лучше всю без надобности не выгружать.

[@renatsu_dev]

Разве индексы не эффективней проверять столбцы на NULL. Мне кажется проиндексированный столбец эффективнее решит задачу SELECT * FROM TABLE WHERE smth IS NOT NULL

[@yodapunishes]

То ли я прослушал, то ли автор не уточнил: 1. В видео рассмотрен только самый популярный тип BTree 2. BTree применяется не ко всем типам данных, потому и существуют другие (GIN, GIST, etc) 3. У других методов доступа (индексов) алгоритмическая сложность другая 4. Бывают ещё условные, покрывающие, функциональные и другие разновидности индексов

[@MrCursedsin]

Всё же не совсем понятно, как проверить была ли колонка проиндексирована или нет

[@postoronny]

phpMyAdmin :)

[@VaeV1ct1s]

Нихрена не понятно. Если у нас записей 'electronics' больше одной, то таблица индексов будет реализовывать o2m? Тогда, нужно будет получить все внешние ключи из индексной таблицы, и для каждого провести поиск по ключу в основной таблице?

[@volodymyranufriev2553]

При постоянных обновлениях индексы обновляться не будут и станут бесполезны - ну это очень сильное заявление. Если есть БД, где дела именно так обстоят - это какая-то очень ограниченная БД. Но заявлять такое про все базы данных - это неправильно. В целом ролик симпатичный, но вредный для начинающих, и режет глаз спорными заявлениями для опытных

[@Evgeniy19856]

Есть ещё фильтрованные индексы.

[@dmitriypolynin7273]

не мучайтесь, пользуйтесь средой разработки а не websql например dbforge для mysql тогда создание или удаление индексов делается через интерфейс так проще и нагляднее. Хотя и синтаксис нужно знать, но так нагляднее и структура видна и данные и индексы и триггеры и все что нужно.

[@o1ego1eg]

когда не использовать индексы: *перечисляются все реальные кейсы :)

[@MyxaTcakatuha]

в чем разница один индекс на два столбца или два отдельных индекса на эти столбцы? никто нигде этого не объясняет

[@jumper_in_maple4814]

Ну вот если у тебя это столбцы "категория" и "подкатегория" и ты напишешь запрос на поиск по отдельности (where category = 1 в одном запросе и where subcategory = 2 в другом), то тогда надо бы 2 индекса, будет больше места занимать. А если у тебя связанные поля, когда ты точно знаешь, что нет товаров без категорий и подкатегорий и поиск будешь вести всегда по связным - делаешь индекс на оба поля сразу. Места меньше, индекс один, обновляться будет быстрее. А поиск что так будет быстро работать, что сяк.

[@dmitriykurashkin1635]

"При постоянных обновлениях БД индексы обновляться не будут" - адская чушь. Как и весь раздел "когда применять индексы".

[@evgeniynoble6064]

Я тоже этого не понял, начал гуглить и ничего не нашел. Объяснит кто?

[@uzurbatya]

Когда народ таймкоды начнёт приводить к своим словам?

[@user-bk9mn8de5c]

Очень поверхностное и спорное, нередко просто ошибочное изложение материала. Что-то из серии - попробую понять материал, объясняя его другим. Может автор имел ввиду какую-то конкретную экзотическую СУБД?

[@ulmasjonkilichov487]

Очень вводная информация. Нет ничего про b-tree, hash table, gist и тд

[@AlexanderZolnikov]

Видимо, автор, как и я, в прошлом, ms sql разработчик. В той же сап хане, что all memory, постгре, оракле, нет явного деления на кластерные и не кластерные индексы. Так что видео, в целом, такое себе авно. Там все работает по другому, в отличии от мс скл, особенно с тригерами. В той же сап хане, постгре, оракле, нет явного деления на кластерные и не кластерные индексы. Так что видео, в целом, такое себе, мягко говоря, ждал большего. Отчасти, это и моя боль, пока я не стал работать с другими субд и не ощутил разности.. Автор не знает о чем говорит.

[@turkeyrelocation]

Поддерживаю. Похоже на пересказ статьи ради пересказа, без какого либо погружения в тему. Тогда уж пусть какая-нибудь тян с сексуальным голосом читает текст

[@dmitriypolynin7273]

знает, но в рамках мускля , для ознакомления достаточно.

[@hellohowareyou267]

Фак ё инглиьиш

[@vladimirlos5432]

Триста страниц типовой книги по "введеню в SQL" - за 9 минут... :)

[@nicholasspezza9449]

только дурачки так считают

[@vladimirlos5432]

@@nicholasspezza9449 У вас - проблемы...

[@nicholasspezza9449]

@@vladimirlos5432 не спамь своей чушью, клоун

[@vladimirlos5432]

@@nicholasspezza9449 У вас - очень серьёзные проблемы.

[@user-rg3sp6yk3b]

пилляя, я и сам умею читать, лучше б картинки какие-нибудь запихал вместо бесполезного текста. А так, в принципе, понятный материал, спасибо

[@konanvarvar353]

Нихуя не понял

[@nikolosmiron1481]

Слабое видео

[@dimass67]

На 5.35 примерно какая-то противоречивость которая осталась без объяснения. При постоянных обновлениях БД (а именно при добавлении данных как я понял в данном примере) индексы обновляться не будут. При этом ранее было сказано что при добавлении данных сначала обновляется исходная таблица а затем ее индексы. Вот через какой промежуток времени между добавлениями, БД будет считаться постоянно обновляемой?. И в конце на 10.10 сказано про какие-то столбцы которые часто обрабатываются. Как это связано с предыдущей информацией? Ведь добавление в БД это инсерт а значит добавляется строка со всеми её столбцами. Следовательно обрабатываются все столбцы и их лучше не индексировать.

[@RoaringOrange]

6:29 Кластеризованный индекс использует первичный ключ? Большей бредятины не слышал...