Ceph в ProxMox на ZFS

Настройка отказоустойчивого кластера ProxMox на Ceph и ZFS. Проверка миграции и "смерти" ноды
Листинг будет чуть позже на хабре, ссылку приложу к описанию
Присоединяйтесь к нам - ubuntulinux

[@user-fq5sx3uc1o]

Огромное спасибо. Все доступно, просто, интересно, полезно и понятно. +1000000

[@PetrovNick]

Иван привет. Просмотрел два ваших видео: создание кластера Proxmox и поднятие в нём Cerph. Может я что не так понял. В первом видео мне показалось, что все 3 ноды, то бишь весь кластер вы подняли ВНУТРИ одного узла. Это нормально так делать или это только в целях обучения так показано?

[@TheVankosa]

Николай Петров это исключительно в целях обучения. И к тому же, поднимать ceph поверх zfs не рекомендуется

[@PetrovNick]

ext4?

[@TheVankosa]

Николай Петров нет, на блочное устройство. Читайте вики проксмокса, там все сказано

[@ruslan46589]

Привет Иван! Интересное решение конечно. Сделал по такой же схеме, но столкнулся с проблемой прав доступа разделов (OSD::mkfs: ObjectStore::mkfs failed with error (13) Permission denied) : После ceph-disk prepare, df -h не выводит типа этого /dev/zd0p1 85G 35M 85G 1% /var/lib/ceph/osd/ceph-0. При попытке ceph-disk activate-all выводится вышеупомянутая ошибка. пытался сделать по статье: "Исправляем проблему прав доступа разделов журнала Ceph", но пока без успеха. Похоже это связано с выходом новой версии (luminous), требование к разрешению прав на диск.

[@petrov1417]

Иван, счастья тебе и доната за твой обзор!.(Реквизиты обозначь) Я вообще "топор" в виртуализации...как и в сетях. Начал просвещаться в wiki.. У меня в proxmox 4.4 ve живет zentyal и 3 винды, raid программный, архивы лью на nfs. Конструкция очень медленная, учитывая что 3 сетевые карты бриджом проброшены в zentyal (2wan, 1 lan). Сам вопрос: Стоит ли мастерить на все это дело Ceph, добавить физический raid, а nfs оставить как лютый резерв? З.Ы. Организация маленькая, но эксперименты терпят, а мне скучно)) Спасибо

[@full_hause_5993]

Подскажите пожалуйста, могу ли я организовать подобное на одном компьютере с одним SSD, делал через web proxmox, при создании OSD пишет что не свободных SSD. Как решить проблему ?

[@TheVankosa]

Никак, ceph не для одной ноды с одним диском

[@user-ky7zx8tu7g]

Проксмокс умеел простую отказоустойчивость? В смысле, синхронизировать только отдельные хранилища (папки на самих серварах) с отдельными виртуалками, а при отказе одной ноды просто запускать некоторые виртуалку на другой с не очень консистентным (получается) состоянием диска? Просто HA и сложновато для микрофирмы и лицензия вантуза не позволяет (это же одновременное исполнение на разных серверах)

[@TheVankosa]

Димон Батон, умеет

[@CosmicSoundMDB]

Would had been of great help to have this in English also. Great work!

[@olegmanoylo7057]

Привет Иван , есть вопрос . если например у меня стоит proxmox подключений к роутеру и куплен статический IP / Внутри сеть : proxmox 192.168.0.100 / в нем VM : debian 8 как веб сервер у которого бридж и имеет IP 192.168.0.101 / на самом роутере прокинуто порти на веб сервер / все работает . в плане поставить ещо 1 такой же комп в другом конце города и обеденить их / если упадет 1 нода и мой веб сервер мигрируем на 2 ноду / сайти то не будут доступни / как решить ету проблему ? PS: сразу извеняюсь за тупой вопрос скорей всего все генеальо просто.

[@TheVankosa]

Oleg Manoylo тут дело не в проксмоксе и вопрос к хостинг провайдеру. Решается балансингом или правильно настроенными srv записями в днс

[@olegmanoylo7057]

спасибо за ответ щас буду гуглить. (ето как по маленькому мас себе хостинг )

[@user-ej7dr9vk2b]

ceph-disk: command not found