Proxmox CLUSTER. Что это и зачем? Создание кластера из 3 узлов (nodes).

[@sydneylosstarot2022]

Дай бог тебе здоровья, пили и дальше видосы, я пока посмотрел половину, нго уже много полезной информации.

[@fox8301]

Таких обьяснения еще Я не видел. Круто

[@proxickful]

Браво! Спасибо за интересный контент. Помогло освежить память. Все четко и по делу, и это все в достаточно коротком хранометраже, для подобного рода контента. 👍

[@proxickful]

Но знаете что меня больше всего интересовало? Что будет с кворумом, если например третья нода будет находиться в другом сегменте сети, будет мастером, и в какой-то момент сеть оборвется между сегментами (условно левая и правая стойка) на продолжительное время. При этом виртуалки продолжат свою работу со своими клиентами в сегментах. Что будет с кворумом и статусом мастера? Как PVE этот момент просинхронизирует после востановления связи между нодами?

[@anton-pavlov]

Супер видео! Спасибо, за интересный и познавательный контент.👍

[@RomNero]

Спасибо за отзыв👍😉

[@roman.kudlay]

По поводу кворума прям очень запутанное обьяснение и оно не с масткром связанно и кворум нужен не для мастера, а для разрешения конфликтов данных. Проксмокс использует собственную распределенную СУБД, которую монтирует в /etc/pve, соответственно, если пропалает связь между нодами все еше могут призводиться изменения в кластере, например, изменили количество оперативки для виртуалки с 2 до 4 ГБ, на ноде 1, связь между 1 и 2 есть и на ноду 2 пересылается, что у нас теперь 4 Гб, нода 3 работает, но не имеет сктевого доступа в кластер и мы для виртуалки поменяли значение с 2 до 6 ГБ, когда кластер соберется они начнут синхронизироваться и 1 и 2 ноды проголосуют за 4 ГБ оперативки, а 3 года за 6, т.к. количество голосов за 4 будет больше, то 3 нода перезапишет свое значение тем, которое записано у большинства.

[@Shekhetov]

С интересом посмотрел. Спасибо!

[@alexnadrk.1544]

Хорошее наглядное видео, спасибо!

[@IrenaW]

Всё равно буду смотреть Ваши ролики. 😉

[@RomNero]

Спасибо, мне очень приятно😉

[@eugen_belc]

Как всегда отличное видео, наглядно, понятно. Скинул коллеге, он этой темой интересовался.

[@RomNero]

Спасибо за отзыв 👍 Надеюсь, поможет коллеге 🙂

[@pi3dez4]

Супер! Нужено развёрнутое видео с свидетелем (q-device)

[@ewowkogames4130]

Очень круто и доступно!

[@ne_fakechestno8685]

Спасибо большое за видео!

[@RomNero]

Всегда пожалуйста 😉

[@fitskout]

Спасибо огромное за труд! Это лучшие обучаюшие материалы, что я встречал. Размещайте, пожалуйста видео.и в рутубе тоже. А то смотреть из России все сложнее

[@RomNero]

В планах нет выкладывать где-то ещё. И есть же способы обходить блокировку.

[@Yauhen84]

Благодарю за ценнейшую информацию. Но все рассказывают/пишут про установку и настройку. Но вот ни кто не рассказывает как починить сломанную виртуалку. Как поменять неисправный диск. Как восстановить информацию у поврежденного рейда.

[@Yazerg72HD]

Наконец вернулся с Европы) Приятно удивлен новому и важному видео) Могу ли я, как олд канала попросить об обзоре? Очень интересует сервер метрик NetData) Заранее спасибо)

[@RomNero]

С возвращением. По мониторингу будет много серий видео 😉

[@kerosyne]

Очень бы хотелось увидеть подрбное про Ceph

[@RomNero]

Про Ceph будет позже.

[@anarhoa9678]

Superкруто

[@RomNero]

Спасибо 👍

[@igrok13-]

где был раньше с этим роликом? но все равно интересно есть что подчеркнуть, но вот другое интересно а если взять туже самую малинку но на ней запустить контейнер но на внешнем хранилище сильно ли будет критично? по идеи должно работать, и так же было интересно если возможность масштабируемости? по типу кубера? что бы не заводить виртуальную машину? просто все что нашел это либо докер в контейнер либо кубер в вм

[@RomNero]

Вряд-ли будет работать с rpi. Из-за ARM архитектуры. Но, честно скажу, не пробовал. Что имеешь в виду под маштабируемостью? Сам кластер или LXC в нём?

[@igrok13-]

@@cyberianoid ну как тебе сказать серьезное, мне было просто интересно, чисто чтобы поганять вм и посмотреть как работает это скорее для изучение чем баловство

[@igrok13-]

@@RomNero да про контейнеры, просто старые rpi стоят дешевле а тренироваться на чем то надо не на боевых же машинах)))

[@The7IGOR7]

Обязательно ли использовать ZFS на диске для динамической миграции? Или с обычным томом но просто на втором диске тож будет работать? Я так понимаю у прокса, очень строгие правила именно относительно диска, на котормо работает гипервизор. Там же даже 2qow диск не создать, только raw. Мне не очень нравиться концепция использования ZFS на proxmox, так как нужно заботиться о выделяемой оперативной памяти для ZFS. Я предпочитаю использовать ZFS на Шаред, но допустим, запуск Windows Server на шаред ZFS даже с SSD Cache и 10гиб лан, почему то жестко лагает. И спасибо за ролик, он классный.

[@RomNero]

Спасибо за отзыв и за интересный вопрос. Правильно использовать, как вы и сказали, shared storage. Там файловую систему можно выбрать любую. Как указано в офф документации - локальная реплика работает только с ZFS. Не могу сказать, есть ли другие способы. Если будете тестировать, то напишите результат, пожалуйста. Будет полезно👍

[@The7IGOR7]

@@RomNero Спасибо. Тестировать пока нет возможности. С HA и кластерами все вообще достаточно сложно в рамках SOHO. Ведь по сути либо делаешь все на проксе и точка, соединяя ноды напрямую, либо начинается анал карнавал в виде дублирования сетевых свитчей, дублирования датасторов и синхранизации всей этой петрушки.

[@The7IGOR7]

​@@cyberianoid Затем что бы больше знать и уметь. Что бы когда понадобиться, не бегать с выпученными глазами, а предоставлять готовое решение. Так как компании растут, и со временем некоторые компании превращаются из SOHO в Большой бизнес. Да и как бы мало ли зачем оно лично мне нужно? Вам то какая разница? Жалко что ли? Как говорил классик - нет никакого облака, есть только еще чей то компьютер. Накой хрен лезть в облако с этой задачей, если по итогу это будет телевизор в телевизоре. С тем же успехом можно тупо поднять все в виртуалбоксе каком нить нить на одном ПК. Обычно для съемок видео и тестов собсна так и делается. В этом плане я удивлен, что Ром, для съемок использовал реально железо. И к слову, возвращаясь к предыдущему абзацу, вот вам пример, накой фиг такие приколы в SOHO. Вот Ром на сохо примере сделал видос на канал. Про тераформ, ансамбль и прочее - вообще какой то пук в лужу. Какое отношение контейнеризация имеет к HA вообще? Тем более что контейнеры вообще весьма специфическая штука для специфических задач, и нужная далеко не всем. Я бы даже сказал бы - покажите пальчиком, кому кроме разработчиков софта оно вообще нужно.

[@RomNero]

Вставлю ещё свои пять копеек на своём примере. У меня даже дома в HomeLab стоит кластер. Зачем... При обновлении некоторых критических виртуальных машин, могу запустить капию на другом ноде (с некоторыми манипуляциями в сети). И обновление будет вообще без downtime. И так же при обновлении самих нодов. Просто переносятся все виртуалки и контейнеры на другой нод. Но это все, конечно, стоит своих денег. Нужно больше железа, энергии и т.п. По сути 2 нода работают в холостую. Ну и даже с точки зрения новых знаний - можно многое попробовать 🙂

[@The7IGOR7]

​@@cyberianoid Вы говорите что мне нужно больше разобраться (не говори куда мне идти и я не скажу кто ты). Но потом повторяете мои же слова, о том, что это нужно разработчикам софта и тем кто с ним работает. Класс. Но именно это я вам и сказал, что это нужно только им. А мир не крутиться вокруг одних лишь программистов. Компаниям которые не пишут свой софт и не нанимают разработчиков софта - контейнеры нафиг не всрались. А вот HA им очень таки нужна, ибо это и бух учет, и видеонаблюдение, и складской учет, и контрольно пропускные устройства. Все это весьма банально но таких компаний много, и им важно, что бы была отказоустойчивость. При этом как уже сказал выше - контейнеры им нафиг не сдались, и только накидывают проблем, когда что то пошло в контейнере не так, а доступа к разработчику контейнера нету, и как следствие ничего исправить тож нельзя. А работать как то нужно. -- Забавно слышать какой вы капец хвастун. ЧСВ черепушку то не жмет? Хотите сказать что то по делу, окей. Давайте. А чесать свое ЧСВ пустыми словами, ну такое себе.

[@Solarix_Live]

Отличное видео. Сними еще про кластеры для критической инфраструктуры, очень интересно.

[@RomNero]

Спасибо. Да, будет видео с Shared Storage 👍

[@MrStoper013]

Ав есть на VK видео?

[@dem36rus]

Отличное видео, спасибо Вам! Есть вопрос: это все будет работать, если физические машины с нодами Proxmox находятся в разных локациях и соединены по ВПН?

[@RomNero]

Спасибо за отзыв. Всё зависит от latency (ping). Если будет больше 15-20 ms, то может работать всё нестабильно

[@shellycooper007]

круто! спасибо, давно ждал этот урок. если не секрет, откуда знания берете?

[@RomNero]

Спасибо, надеюсь, ролик поможе разобраться. Знания... По разному. Обычно есть какая-то идея или где-то услышал о системе и потом начинаю разбираться. Официальная документация даёт сразу многое, а потом форму и разные портали🙂

[@shellycooper007]

@@RomNero кстати у меня ютюб совсем перестал работать без впн. планируете ли дублировать свои видео на рутьюб? пришлось только что аккаунт там создать чтобы на телеке хоть что-то можно было смотреть. на компе бесплатный впн тоже задалбливает каждые 15 мин передергивать (( гады блин

[@RomNero]

Возможно, некоторые большие тему будут на udemy.

[@ci-cd]

Видео отрыв фляги

[@RomNero]

Это плохо или хорошо? 😄

[@ci-cd]

@@RomNero это мед медятина (шикарно все)

[@RomNero]

😄Спасибо!

[@ci-cd]

@@RomNero Это Вам спасибо

[@zmeyedition]

Привет, как можно с тобой проконсультироваться, поговорить?

[@ВиталийСысоев-х5и]

Здравствуйте, я вообще новичок с проксмос,поэтому прошу прощения за возможно глупый вопрос заранее 😅. У меня такая ситуация есть системный блок на 775 сокете решил его пустить на сервер. Выбрал как вариант проксмос. Данное решение выбрал потому, что нужно отдельно,чтобы работал бот для сайта, ВК и телеграмм ( будет висеть на Ubuntu) . И файловая помойка для небольшого офиса. Но столкнулся с проблемой, установил на диск, но после того,допустим если обновил репозиторий надо перезагрузить и происходит такая ситуация. Проксмокс перезагружается, я так понимаю оболочка, но само железо при этом не перезагружается т е и дальше работает. И выходит сообщение на экране watchdog did not . И приходится вручную на кнопку перезагрузки нажимать и только после этого система запускается. Будьте добры помогите новичку в этом вопросе, сижу уже неделю читаю форумы,смотрю видео,но так и не нашёл решения вопроса. Заранее благодарю за помощь. И ещё не совсем понимаю как можно будет в будущем иметь доступ к виртуальной машине из вне, допустим к файловой помойки вне офиса. Простите если глупые вопросы задаю 😅😅

[@RomNero]

Приветствую. Обычно, перезагружается именно сервер, а не оболочка😀 если не грузится то лучше всего, подключить монитор и посмотреть что отображается на экране. Или после перезагрузки проанализировать логи в /var/log/. Здесь причина может быть во многом. Нельзя исключать, что железо имеет проблему. Для подключения из интернета смотри в сторону proxy, redirect, настройки роутера. В зависимости какой IP адрес (частный или публичный) доходит на роутер.

[@ВиталийСысоев-х5и]

@@RomNero спасибо большое за ответ. Само как то подчинилось 🤣🤣 Но в любом случае спасибо большое. Ещё вопрос я понимаю, что соединить можно через ВПН,либо всякие twingate. Много материалов видео,но простите я не понимаю как это сделать именно для proxmox , особенно для lxc контейнера. Каким образом можно соединить через VPS? Я конечно понимаю, что в основном люди тут , которые хоть не много в этом понимают, и да я много чего почитал,посмотрел уже,но не понимаю как это сделать т к в основном это общие понятия. И да я понимаю как это работает,но саму схему реализации не догоняю.

[@RomNero]

@user-ee8xf4cl3i Думаю, здесь будет понятно рассказано kzbin.info/www/bejne/oJ_KmIaIptJpjqM

[@Mukhinroman]

Диск, который ты добавлял. Это ты вставил 3 одинаковых диска в каждую ноду? Или это какой то общий storage, который ты добавил во все три прокса?

[@RomNero]

Это одинаковые диски (виртуальные диски). Все ноды - это виртуальные машины. Поэтому и названия одинаковые

[@pavelbolkhovitin3687]

HA репликацией через ZFS раздел это костыли (дисков надо хN кол-во нод) , лучше, дешевле и надежней подключить внешнее хранилище по 10Гб, где хранить и ВМ и диски, самое дорогое это свитч 10гб из всех расходов, сетевушки 10гб пучок за рупь по сути, даже оптику не нужно городить для этого, на 6 категории делает отлично (у себя такое дома сделал, ляпота), одна проблема только, если городить роутер в гипервизор, то придется через VLAN разруливать отдельным свичом (что бы не пихать кучу доп. сетевух в ноды)

[@RomNero]

Полностью согласен!!! Об этом говорил так же в видео. Скорой будет видео с Shared Storage. Ещё один хороший вариант - использовать Ceph cluster 👍

[@spikefarm]

А внешнее хранилище на своем кластере?

[@RomNero]

Если вопрос мне, то я использую Synology в качестве storage. Был ceph cluster. Но просто места сейчас нет ещё и кластер из 5 нодов ставить🙂

[@pavelbolkhovitin3687]

@@spikefarm ну если хочешь играть в матрешку то можешь, мне хватает TrueNAS в железе с рейд карточкой

[@pavelbolkhovitin3687]

@@RomNero ceph cluster это еще столько же железа городить придется, хотя вещь хорошая, может потом как нить и сделаю себе

[@sekaikoiwai]

Спасибо, планируется ли видео про Proxmox Mail Gateway?

[@RomNero]

По Mail GW не планировал делать. Как-то только тестировал, но много рассказать пока что не могу.

[@la2evengla2eveng43]

Интересно а как тогда будет с общим сетевым хранилищем для трёх нод сразу.

[@RomNero]

Позже будет видео с сктевым хранилищем 😀

[@itdepartament3333]

Что за мини-ПК вы используете под сервер?

[@RomNero]

От Minisforum и Beelink

[@Vov4ik3858]

Есть 1 нода Proxmox установленная на ssd, можно ли сделать рейд и подключить второй диск ssd в эту ноду? Если можно то как это сделать?

[@RomNero]

Да можно сделать. Нужно будет через консоль создать raid.

[@harrychampoussin3680]

Если иметь 3 VPS и в них по одному SSD то как лучше настроить кластер? Через glusterfs насколько нормально это реализовать?

[@RomNero]

GlusterFS никогда не использовал. Не скажу как там дела. Можно попробовать с ceph. Или сделать как в видео через Replikation.

[@MrStaff67]

Привет,нет планов переходить на альтернативные площадки?

[@RomNero]

Привет. Планов нет. Много способов есть обойти блокировку.

[@DmitrySardanovsky]

​@@RomNero, а когда способы закончатся, Вы перезальете весь контент? Или забьете на аудиторию? Мне кажется, что пора дублировать уже сейчас...

[@RomNero]

Я очень цень свою аудиторию. И ради неё делаю свои видео. Я просто сейчас не вижу подходящих платформ которые хоть как-то похожи на KZbin. Любые русские платформы отпадают сразу. Из-за всей нестабильности и контроля.

[@DmitrySardanovsky]

@@RomNero таких, как KZbin, не будет...

[@RomNero]

Значит на Udemy можно будет смотреть

[@МалышевМаксим-о7е]

Решил изучить тему виртуализации, и вот не совсем понимаю, а почему proxmox считается гипервизором первого вида, ведь по факту у нас есть основная ОС, а это уже второй тип?

[@es-vd420]

Вопрос не в ОС, а в том, как виртуалки получают доступ к ресурсам - напрямую или через посредника в виде ОС. Например, microsoft hyper-v тоже имеет ОС, но это гипервизор первого уровня. В общем, что proxmox, что hyper-v - гипервизоры первого уровня, их ОС это просто некая надстройка над гипервизором.

[@pavelbolkhovitin3687]

а так то, при наличие 3 нод и 1 управляшки с ceph кластером можно уже OpenNebula городулить, там прям ваще, вай все красиво ))

[@RomNero]

Можно openNebula, OpenStack или CloudStack👍

[@roman.kudlay]

Ну с 3 нодами и отдельным диском можно было и ceph кластер собрать , +- столько же времени заняло бы.

[@janusy1582]

Скажите, на какой уровень слушателя вы рассчитываете? Джуна?

[@RomNero]

Не знаю🙂 для тех, кто понимает. Всем угодить всё равно не получится. Это далеко не начальная тема

[@janusy1582]

@@RomNero Вы дублируете документацию, которая написана вполне доходчиво

[@RomNero]

Ничего страшного 👍 кому-то будет точно интересно и полезно посмотреть 🙂

[@mcsv]

@@RomNero тот йобо попытался задавить своим подтекающим скиллом

[@HereticAnthem]

а у нас джуны пропали из природы? в чем суть вопроса?

[@maxi6472]

Привет, запиши видео, как сделать свой голден темплейт, когда у тебя есть чистая вм debian, ты делаешь из нее темплейт, и разворачиваешь с помощью тераформ (фулл клон). Не используй готовый cloud-init image debian 12, так как та ми есть баг с dna search

[@RomNero]

Привет. Спасибо за идею. Посмотрю, что можно сделать 😉

[@George-664]

Что за баг, расскади подробнее, может можно в самом образе исправить?

[@Viacheslav-yl6bm]

Почему нельзя было все сделать без ошибок? Получается очень запутано.. Хорошо что в конце кратко автор пробежался по видео

[@RomNero]

Хотелось показать зачем нужны все эти действия. В видео с 2мя узлами. Всё сделано сразу 😉

[@paganorth]

картинка от ms-01 недавно купил на амд

[@RomNero]

Да, он самый. Классный сервер со всеми необходимыми портами и за хорошие деньги

[@rx12sib]

Вот еще бы информацию как вывести ноду из кластера...

[@darkfox42i]

вроде кластеризация будет платной

[@RomNero]

Это для меня новое. Нужно проверить. Это как бы одна из важнейших функций proxmox. Если сделают платной, то могут потерять большое количество пользователей. Конечно, все зависит от цены.

[@pavelbolkhovitin3687]

а пруфы будут? беглым взглядом на сайте проксмокса тишина

[@roman.kudlay]

Я недавно смотрел отличия подписки и там только в поддержке отличие и в доступе к обновлениям, у них подход, что функционал весь бесплатный

[@RomNero]

Я так же ничего не нашёл 🙂 это не та фирма, которая будет обрезать функционал. Хотя, всякое бывает... К примеру HashiCorp 😄

[@pavelbolkhovitin3687]

@@RomNero тут все зависит, заведется ли у них "успешный манагер" который все похерит в угоду бабла или нет ))

[@Banzaets]

Ох, бедные мои уши! Велик могучим русский языка! Нода - женский род. Множественное число - нОды. Чем - нОдой (множ. нОдами). Что(кого) - нОду (множ. ноды). Для кого - для всех нОд. К содержанию вопросов нет.

[@RomNero]

Спасибо. Node - узел (муж. род).

[@alx8439]

Proxmox это такой OpenStack для бедных :)

[@RomNero]

Когда-то по OpenStack тоже буду делать видео. Там целевое применение отличается от proxmox и рассчитано больше на cloud провайдеров или на фирмы с несколькими Tenants (не знаю как на русском). Ну и требует OpenStack намного больше ресурсов чем proxmox как физических так и в плане персонала. OpenStack классная система, с просто бесконечным функционалом 👍 Немного проще будет CloudStack.

[@pavelbolkhovitin3687]

Скорее OpenNebula, OpenStack это ваще монстр

[@tardis33ru]

Сделай пож. клон своего канала на рутубе, все сложнее смотреть ютуб из-за блокировок, а сейчас вообще видео не открываются

[@la2evengla2eveng43]

Используйте goodbyedpi.

[@atlastrade1496]

Почему проксмокс тормозит чтение nvme

[@СергейЕфимов-ц4в]

Ждём Ceph