Что такое CLICKHOUSE и колоночные СУБД

[@da_volkov]

Случайно наткнулся на канал, и офигел от количества и качества материалов. У меня как раз задача - верхнеуровнево ознакомиться с разными технологиями, и у вас на канале почти все что мне нужно есть. Причем в доступной форме и с ссылками на референтные материалы. Спасибо за вашу работу!

[@ListenIT_channel]

Круто, рад! Напишите, если какую-то тему ещё хочется послушать, чего нет на канале

[@AlexDanilovFapsiSu]

Качество? Разбор запроса к таблице (3-я минута). where color=543, автор читает 542; ... 2. найти колонку с именем type и её значение, когда по этому запросу нужно найти колонку с именем color. На этом просмотр видео закончил. Качество?

[@AlexDanilovFapsiSu]

@@da_volkov причём тут, что видео "обзорное"? Человек взялся публично рассказать о неких вещах, и стал сыпаться на ошибках с самого начала. И право предъявлять за ошибки возникает как раз по факту публичности. И хамить вот не надо.

[@AlexDanilovFapsiSu]

@@da_volkov от тебя же корректностью так и прёт.

[@azamatkurmangaliyev6010]

@@AlexDanilovFapsiSu 543, 542 мне кажется если бы я комент не прочёл, я бы даже не обратил внимание. =)

[@doomox6001]

Хорошая разработка, заточенная под решение конкретных задач. В принципе так и должен создаваться софт. А когда пытаешься получить все и сразу, то обычно ничего не выходит. Считаю что разработчики яндекса молодцы.

[@KozhinDev]

Только сейчас узнали, что нашу статью использовали для видео. Спасибо, что упомянули нас) Отличное видео, лайк!

[@ListenIT_channel]

Спасибо вам за отличный сурс! ♥️

[@SomeGuy-q1d]

Спасибо! Это лучший обзор что я видел про clickhouse!

[@Dimedrolity]

Качественный материал, полезно для меня как для разработчика грейда Middle 👍

[@mikurrey416]

Большое спасибо, очень ценно для вхождения в тему и очень легко для понимания

[@rudolfsikorsky7900]

Спасибо, полезно! Хотелось бы такое же сжатое изложение по Apache Cassandra :)

[@nav6526]

В недостатки можно еще добавить проблемв с join-ами таблиц. Если данных много и они не помещаются в памяти то запрос упадет с ошибкой. Мы решили эту проблему с помощью разделения одрого запроса на N запросов, каждый из которых обрабатывает часть данных. Например есть таблица клиентов и таблица их заказов. В каждой из таблиц есть номер телефона клиента и нужно сделать join по номеру телефона. Если попытаться соединить сразу весь набор данных то запрос упадет из-за недостатка памяти. Но можно сначала сдрлать join для телефонов попадающих под условие something_hash(phone_number)%6 = 0, затем 1,...5. После чего объединить данные. А еще лучше явно указывать извлекаемые поля и не использовать звездочку в select. Оитимизатор запроса в clickhouse гораздо более простой чем в oracle, postgresql, поэтому разработчик сам должен состаалять эффективные запросы.

[@ListenIT_channel]

Круто, спасибо, интересный опыт!

[@kyazymkyazym4728]

Видео супер, если бы ты сделал аналогично про Кафка коннект (дебезиум допустим), было бы замечательное продолжение темы с кайфкой) про CDC и Реал-тайм обработка данных

[@Артем-х7п6с]

Очень классное видео, спасибо! Очень не хватает уроков кликхауз для чайников, в Ютубе их почти нет)

[@artyomkhrenn]

Спасибо, отличная подача видео, быстро познакомился с кликхаусом

[@lolpwn6528]

Спасибо, отличный материал подписываюсь

[@SiarheiAkhramenia]

Мэтод :) Прэкрасный матэриал! (без сарказма, но про мэтод это вы конечно прикольно)

[@user-uq4ix5ie3q]

Благодарю! Я врубился в отличия!

[@andreypopov5018]

Найс! Сил вам и здоровья! Выжимка отличная

[@sovrinfo]

Спасибо за видео. Коммент в поддержку!

[@Denisko123]

Использую на работе. Действительно большие объемы обрабатывает просто с космической скоростью. Типа статы и фильтров на ней. А вот с единичными записями, обновлением и удалением (через мутации) тут все тяжко. Приходиться манипулировать

[@wsxpocxeafx]

3:38 тот факт, что столбцы отсортированы открывает возможность бинарного поиска по столбцу, а он работает очень быстро. Раз значения отсортированы, значит добавление в таблицу строки может быть медленным, если только данные физически на диске тоже хранятся в отсортированом виде.

[@LeonidYakovlev85]

Большое спасибо за выпуск, было очень интересно, полезно и информативно 👍

[@ArchDevWorkshop]

Круто, спасибо! Очень интересное видео

[@v4Vr983tlVMB]

Разве строковые базы не используют те же самые алгоритмы при индексации? PostgreSQL в частности

[@Василий-о1ф2ь]

Спасибо! Интересно, полезно и понятно)

[@kironpapon]

Привет Там кажется, на 2:30 ошибка, когда ты показываешь как происходит запрос к БД. Нужно колонкой ты указываешь строку, в которой значение color = 5235, но в запросе попросил color = 543 И на 3:30 ты говоришь "С цветом 542", а ищем мы цвет 543 Сорри, если душно.... Видос пушка, спасибо большое

[@ListenIT_channel]

Привет! Да не, не душно, там автор статьи, видимо, напутал, а я не сразу заметил ошибки. На суть сильно не влияет, поэтому решил оставить. Буду внимательнее, спасибо!

[@kironpapon]

@@ListenIT_channel да, сто проц не влияет, все супер понятно и очень круто изложен материал, еще раз спасибо!

[@skarfex]

Если уж душнить, то пополной) В пункте 2 мы ищем не колонку с названием type, а колонку color и значение 543

[@andreyprokhorov3371]

2:33 почему по type пишите? Если color

[@rootgorfal9811]

2:47 в запросе поиск по столбцу color в пояснении type

[@АндрейИльин-д6ж]

автору то откуда знать как должно быть?

[@apristen]

спасибо! отлично рассказано!

[@dasydasy9268]

Отличное видео!

[@Alexander-ws6wl]

А можно для непрофильных специалистов объяснить, как столбцовая СУБД выдаёт в результате строку, если все столбцы хранятся отдельно? Что связывает элементы разных столбцов?

[@heheheyhey5234]

ключ есть у каждой ячейки .типа НомерСтроки

[@linust5892]

Опа KozhinDev)) Красноярским привет

[@the_Timmy_93]

Палатка первой помощи на первой секунде =)

[@ListenIT_channel]

😏

[@non5309]

Хорошие ролики, спасибо!

[@letsdosmth7666]

сделайте пожалуйста ролик про WSDL !!!

[@Чонгукчкук]

Сделай видео про руководство по стилю в SQL

[@IgorZimaev]

«Пропустить колонки, которые не нужны для анализа - невозможно» Даже если повесить на колонку индекс? Как же он тогда ускоряет поиск?)

[@vladislavstepanov7591]

В любом случае это будет не так быстро. Есть Index Scan Only, который будет читать данные только из индекса. Но как только ты добавишь в SELECT поле не из индекса или из другого индекса, операция сразу замедлится в несколько раз, потому что это будет уже Index Scan, а значит БД будет подглядывать в heap и забирать данные из оригинальной таблицы А в колоночной бд такого нет потому что она просто может посчитать byte offset для соседней колонки и сразу считать данные, без поиска

[@nav6526]

В строковых бд обычный индекс позволяет получить место хранения строки, т.е. является указателем. Перейдя по указателю получанм достап к строке, но полученная строка состоит из N полей (или по другому - колонок), и чтобы получить доступ к какому-то полю нужно прочитать все поля перед ним. В кликхаусе эти поля таблицы хранятся в отдельных отсортированных структурах, поэтому поиск по колонке очень быстрый. В строковой бд если запрос должен выполняться по всей таблице или планировщик запроса считает что запрос не получит выгоды от индекса то будет фулскан всей таблицы и на больших данных это очень медленно.

[@lsandreyls]

Ну так себе статься, про класторизированные индексы понятно , но вот самое ведь интересно не как факт указать когда не нужно использовать не класторизированные индексы, а почему .

[@андрейшаульский-в5к]

Интересно

[@nauryzzz]

Ну по сути, обычная таблица, где каждый столбец представляет собой некластеризованный индекс.

[@sighupcmd]

Буффер вставок придется самому имплементить? На стороне КХ нет такой фичи?

[@seriych]

Есть таблицы с движком buffer, есть асинхронные вставки. В каких-то случаях этого может хватить. Но в целом желательно вставлять пачками, то есть да, самому имплементить.

[@vladislavstepanov7591]

Есть адаптеры из коробки на уровне Clickhouse которые позволяют подключить ее напрямую к RabbitMQ/Kafka, а CH сам оттуда будет забирать на вставку. Но не уверен насколько это работает, не пробовал

[@kuzmaprut]

в clickhouse есть primary key

[@reveuzze777]

listen TO IT💡

[@АлексейКузьмичёв-ц7о]

Строка, только повернутая на 90 градусов)

[@RWU13]

Сделайте пожалуйста про касандру

[@oyaebunterkrah_]

kzbin.info/www/bejne/aJOXmZiXhJiIbs0 в колонке style правильные номера записей?

[@tihon4979]

Как же много оговорок, это ужас какой-то. На экране одно, вслух произносится совсем другое...

[@wce-tube]

542 vs 543 Fight!

[@nikolaybelikov1498]

Стиль прикольный выбрал)

[@andriibodashevskyi]

На минусах сразу понятно что это создавали россиянские «гении»

[@ListenIT_channel]

Колоночные базы как технологию придумали ещё в 1969, это не новинка. А что именно смутило в минусах?

[@ArchDevWorkshop]

Вполне годная база, главное правильно использовать. А что вы придумали и реализовали?

[@zorro3481]

Хохол детектед

[@bunta8789]

Хохлятские гении в свою очередь что сделали? Пукнули в ладошку и занюхнули

[@vectrasale]

Отличное видео!