Linux: настройка мониторинга за 15 минут с помощью Grafana и Prometheus

В этом видео показывается, как организовать мониторинг сервера/компьютера на операционной системе Linux с помощью Grafana, Prometheus и Node Exporter
Репозиторий: git.digitalstu...
Этот же мониторинг + настройка уведомлений в Телеграмм: • Linux: Мониторинг с ув...
Этот же мониторинг, но отказоустойчивый + настройка уведомлений в Телеграмм: • Linux: отказоустойчивы...

[@DigitalStudium]

Если дашбоард не работает, то попробуйте импортировать дашбоард не так, как я показал в видео, а по id. То есть на этапе импорта в поле "Import via grafana.com" введите 1860 и нажмите Load. Перед этим удалите прежний дашбоард

[@user-eh8vj2]

Здравствуйте. При импорте по id пишет Unavailable For Legal Reasons. И сайт для скачивания файла тоже недоступен. Что в таком случае делать?

[@DigitalStudium]

@@user-eh8vj2 странно. Только что зашёл на сайт, специально попробовал от разных провайдеров, работает. Хотя я нахожусь в РФ, и пробовал без VPN. Вы из какой страны пробуете скачать? Из РФ?

[@user-eh8vj2]

рб, понял, попытаюсь через vpn скачать. спасибо. Теперь работает.

[@bestofthebest8846]

Пожалуйста покажите как настроить алерты, и чтобы они отправлялись корректно, а лучше сделайте видео с самого начала до полной настройки, установка, алерты. Будем очень благодарны в интернете очень мало информации)

[@АндрейИсламов-в8щ]

Спасибо большое. Всё понятно, просто и по делу. Есть же люди, которые объясняют лучше, чем другие за деньги!

[@cleverscript]

"а че так можно было?" - кучу видосов пересмотрел по 1ч+, и так и не понял как все это паднимается... А тут за 15мину уже понимаю roadmap для своих тыканий)) Спасибо!

[@masterbpr0]

О, спасибо. Коротко и без воды

[@курагагагагагага]

Самый достойный канал с человеческим подходом, без воды. Рекомендую!

[@Almas-fk6gf]

Видео очень понятное и простое. Лайк поставил, объяснять умеешь

[@rpovidlo]

Автору огромный респект!!

[@АртемФеоктистов-г1ю]

Просто лучший с документацией можно мучатся ооочень долго. Так хорошо картинка прорисовывается в голове когда сам пощелкаешь понажимаешь))СПАСИБО

[@dariavyrvich4004]

спасибо за видео! подняла мониторинг за 30 минут, огонь ❤

[@michaelshufutinsky2277]

видео супер, все доходчиво и просто. Было бы клево увидеть видео по backbox exporter и grafana/loki

[@djsklife]

Супер, Одназначно подписка, за такой суперский гайд)

[@EvAnEsO4Ka]

Спасибо Вам огромное за спасённые нервные клетки с домашним заданием, наконец удалось получить зачёт. По конфигурации к лекции с дз были ошибки.

[@Jicefrost]

спасибо огромное за видео. я думал у вас 100 тыс подписчиков минимум. не бросайте свое дело

[@avkarcr]

Шикарное видео, уже переписывался с автором по деталям, получал обратную связь, все работает супер. Большое спасибо еще раз. Было бы здорово записать еще видео, как при такой связке в докер настроить Графану для работы с https. Было бы очень полезно

[@artorios5192]

Огромное тебе спасибо!!! Очень помог!

[@madeintuymada8612]

Коротко и по делу 💯 как раз то, что искал 👍

[@bgs12]

Отличный ролик! Спасибо! Все по делу!

[@Dmitry_Max]

Спасибо, все получилось

[@АлексейК-ь5р]

Спасибо за инструкцию, все наглядно и просто. В конце ролика вы сказали про подключение других серверов, установить на него node-exporter и прописать в yml файле. Но вот еще бы показали как это сделать, то было бы очень хорошо. Можете выпустить короткое дополнение к этому видео?

[@АлексейК-ь5р]

ps. нашел на вашем гитхабе инструкцию по установке node-exporter на другие сервера и подключению их к мониторингу, все ясно :).

[@Safon686]

Третий урок по которому пытался поднять мониторинг удаленных серверов и именно по нему получилось :D

[@madeintuymada8612]

Привет. Я тоже хочу поступить как вы - мониторить основной сервак на втором, вот только вопрос возник с очевидным ответом (в моем опыте обычно такие ответы ошибочны 😂). Ответ такой - "поставь графану и прометеус на доп.сервер, а нодэкспортер на основной сервер, а потом пропиши в конфигах его". Это так работает или я в чем то ошибаюсь? Просто не хочу создавать себе "мартышкин труд" 😅

[@alisherruziev466]

Thank you very much. very useful video.

[@RuzalMW]

Отличное видео! Кратко и по делу!

[@artemshumeiko]

Невероятно крутое объяснение

[@bossofthegym5469]

Спасибо большое автору! :)

[@oldzas]

Спасибо, получил много ответов на свои вопросы

[@powerrsky]

Спасибо! Со второго раза получилось. Хз в чем была ошибка, но сделал второй раз и завелось!

[@76739]

Спасибо, буду тестить

[@Akame-n4p]

С помощью Кали так же будет или есть нюансы? Так же подскажите, есть ли смысл через Кали работать с контейнерами и другими девопс инструментами или лучше в этом случае убунту?

[@DigitalStudium]

Docker на любом дистрибутиве Linux работает одинаково, так что без разницы - если удобнее Kali, то на нём всё будет работать тоже

[@Igor_Glebsky]

Добрый день, классный урок, спасибо! Вопрос: при использовании docker-desktop, в какой директории будет лежать файл prometheus.yml?

[@DigitalStudium]

Если речь идёт о Windows, то попробуйте наберите такой путь в проводнике: \\wsl$ Внутри этой папки должна быть папка с docker в названии, и в одной из её подпапок можно найти volumes

[@tutsw]

Странно почему ты cadvisor не добавил? И ждем продолжение про уведомления) Интересно спасибо!

[@1Virkom]

Хорошее видео, но не ясно только, что делать, если несколько серверов. Понятно, что Grafana и Prometheus будут работать только на одном сервере (ну или на разных, но в одном экземпляре). Вопрос в том, что делать с дашбоардом. Для одного сервера все нормально, а как показывать несколько серверов?

[@DigitalStudium]

На дашборде есть выпадающий список под названием "Host", он позволяет выбирать нужный сервер. Как подключить сами серверы к мониторингу, говорится на моменте 10:51

[@1Virkom]

@@DigitalStudium спасибо

[@bestofthebest8846]

Пожалуйста покажите как настроить алерты, и чтобы они отправлялись корректно, а лучше сделайте видео с самого начала до полной настройки, установка, алерты. Будем очень благодарны в интернете очень мало информации)

[@DigitalStudium]

kzbin.info/www/bejne/qHSbp32od66Xq9E

[@sergejchap62]

было б интересно, как конфигурирован прометей и с какой СУБД. Также, как подобное сделать для Zabbix. Всё-таки это более часто используемая модель

[@DigitalStudium]

Prometheus использует под капотом tsdb. Часто используемая модель - это смотря где.

[@febreze2010]

05:26 не понимаю, почему хост указывается как prometheus:9090, а не скажем localhost либо 127.0.0.1. Откуда мы берем имя prometheus?

[@DigitalStudium]

При использовании docker swarm имя сервиса становится и его доменным именем. То есть изнутри любого контейнера можно обратиться по имени сервиса, и оно будет разрешено в IP адрес соответствующего контейнера с помощью внутреннего DNS докера

[@febreze2010]

@@DigitalStudium спасибо. А почему localhost либо 127.0.0.1 для меня были недоступны в Графане. При тесте нового source выдавало ошибку

[@peat1990]

Привет. А оборудование вроде свичей и вайфай точек можно добавить туда по снмп?

[@DigitalStudium]

Привет! Это возможно через snmp exporter github.com/prometheus/snmp_exporter

[@peat1990]

@@DigitalStudiumоперативно, спасибо

[@РомановРоманов-и3з]

Добрый день! Подскажите, пожалуйста, разворачивал по вашему видео, затык произошел на этапе того, что файл должен лежать в папке, docker inspect показывает, что файлы там и должны быть, но в docker volumes вообще папок нет . docker inspect monitoring_prom-configs [ { "CreatedAt": "2022-11-18T09:11:30Z", "Driver": "local", "Labels": { "com.docker.stack.namespace": "monitoring" }, "Mountpoint": "/var/lib/docker/volumes/monitoring_prom-configs/_data", "Name": "monitoring_prom-configs", "Options": null, "Scope": "local" } ] Подскажите, что не так, в чём проблема?

[@РомановРоманов-и3з]

ubuntu, возможно проблема в btrfs?

[@DigitalStudium]

@@РомановРоманов-и3з Добрый день! Думаю дело в btrfs, да. Docker нужно отдельно настраивать для работы с btrfs, вы прописывали storage-driver: btrfs в конфигурации докера?

[@РомановРоманов-и3з]

@@DigitalStudium , перешел на ext4, но всё равно не помогло, теперь новая проблема, docker у не хватает прав, чтобы писать в директорию volumes, chmod просто не помог, как заставить его работать не от рута? Или хотя бы запустить docker desktop от рута), подскажите, пожалуйста.

[@DigitalStudium]

@@РомановРоманов-и3з я бы с радостью помог, но штука в том что я никогда не пользовался docker desktop, поэтому не могу выступить тут экспертом. Но в общем случае, если вы хотите запустить любую программу из под root, выясните сначала команду с помощью ps aux | grep docker А затем запустите эту команду с sudo

[@SergeyKononenko-y2n]

Спасибо!

[@calapsyoutube8336]

Лучший)

[@mikhbear3926]

Промисиус прям слух режет ) просто Прометей тогда уж )

[@DigitalStudium]

Не хотел никому резать слух)

[@ОлександрНіколайчук-ы5с]

можно ли в прометей конфиг файл заложить периодический скан ec2 инстансов в моем aws аккаунте на наличие тега node-exporter=true и добавление их в перечень для получеия данних? (не в кластере ес2 а раздельно)

[@DigitalStudium]

Привет! Кажется это оно: prometheus.io/docs/prometheus/latest/configuration/configuration/#ec2_sd_config Хотя сам я такого с EC2 не пробовал, точно не скажу

[@ВладСеверов-ц4ч]

Здравствуйте! Подскажите пожалуйста, у меня не появляется node exporter после редактирования файла (добавление node exporter в prometheus) Обновляю страницу инета а node exporter всё никак не хочет появляться в prometheus. В вашем видео это момент 9:49

[@Trust_CanE]

Подскажи, пожалуйста, смог ли ты решить этот вопрос

[@DigitalStudium]

@@Trust_CanE А скиньте текущий конфиг. Думаю скорее всего вы сделали отступ неправильный в конфиге

[@ВладСеверов-ц4ч]

Вроде получилось. Но в конфиге прописал по другому. Как у Вас на видео, у меня не получилось

[@Trust_CanE]

@@ВладСеверов-ц4ч у меня тоже. Мои комментарии удалены только. ну да ладно

[@Trust_CanE]

@@DigitalStudium я только ни как не смог найти норм график, для мониторинга сетевой нагрузки. их там штук 14, а все фиг знает что показывают. А именно хотел бы смотреть загруженность пропускной способности (bandswitch) сервера. Не знаете можно ли смотреть это через графану?

[@Almas-fk6gf]

А как сделать чтобы дашборд автоматически открывался при входе в графану? Попытался в ini прописать, не получилось

[@DigitalStudium]

Вот здесь есть информация stackoverflow.com/questions/48164754/how-to-set-a-dashboards-on-grafana-home-page

[@Tikhon_FaiR]

Привет ещё раз! Решил в к8с поднять мониторинг , на отдельную ноду завернул всё как ты делаешь , столкнулся с проблемой , что в графане не появляются метрики , в проме всё хорошо конфиг видит -работает , куда копать ?

[@sergeizen]

Здравствуйте! У меня такой вопрос, я все делал по гайду, спасибо! Но у меня в прометеусе не появился эксплоер. Я нажал другие гайды искать еще хуже получилось. В итоге решил вернуться к вам, но теперь не знаю как быть, понаустанавливал всяких репозиториев на сервер. Если сначала начать так можно? Или нужно все удалить для начала? Как добавлять несколько серверов, у меня ноды работают надо следить за большим количеством серверов, как графану открывать если мы пишем ip и порт в адресную строку , но это для одного сервера. Спасибо, извиняюсь если вопросы дурацкие

[@DigitalStudium]

Здравствуйте! 1. Удалять ничего не нужно если у вас не запущено никаких лишних процессов, которые будут конфликтовать с докер стэком, запущенным по данному видео.

[@DigitalStudium]

2. Если вы хотите добавить несколько серверов, то на каждый из серверов нужно установить node-exporter, и затем добавить адрес сервера в prometheus конфиг

[@DigitalStudium]

3. Как графану открывать - не понял вопроса. У вас будет одна графана для всех серверов, разумеется.

[@madeintuymada8612]

​@@DigitalStudiumприветствую ✊ еще раз спасибо за предельно сжатый и полезный видос) есть вопрос - как сделать так, чтобы просматривать дашборд не по ip, а по домену? 🤔 Можно ли его запустить таким образом - 1. Создать пустой сайт (разумеется со своей директорией) и пользователя к нему с доступом по ssh. 2. Поднять графану, чтобы мониторить другой сервер. То есть не рутом и даже не судо. Просто админ-права в рамках "сайта" 🤔 мог бы попробовать и узнать непосредственно на своем опыте, но форматировать ради эксперимента рабочий сервер и создавать себе "мартышкин труд" не хочется 😅

[@WorkLife-c3c]

Оставлю этот коммент для тех кому это может быть полезно)). У меня сначала, тоже не появился прометеус в экспортере. Проверил еще раз и заметил что в файле .../_data/prometheus.yml допустил ошибку: не поставил пробел между тире и jobe_name. Возможно, для решения проблемы нужно еще раз проверить все ли правильно написали

[@Nini-sv1bd]

Все таки докер это чудо

[@mikhbear3926]

изучите внутренние механизмы ядра Linux. тогда придет понимание того что докер это маркетинг.

[@NikSudo]

Я не очень понял, а что конкретно сейчас будет мониториться? Графана сама себя мониторит или где-то произошла магия и это метрики всего хоста?

[@DigitalStudium]

Это метрики хоста, разумеется. Их собирает node-exporter, затем prometheus. А из prometheus эти метрики отображает grafana. Также вы можете установить node exporter на другие хосты, добавить адреса этих хостов в prometheus, и тогда grafana будет отображать метрики и по этим хостам.

[@andrey.nekrasov]

Почему просто не поставить заббикс, получив все те же графики и еще дофига всего? Чем прометеус лучше (если лучше)?

[@DigitalStudium]

А почему бы и нет

[@Валерий-щ2е]

Я успешно дошел до 10-17, но у меня в Графане нет выбора экспортера в HOST. Там просто пусто, когда открываешь. Следовательно графики в N/A, не обновляются

[@Валерий-щ2е]

Надо просто старую версию (ревизию) качнуть с сайта Графаны этого JSON Node Exporter Full от 2021-05-08T22:30:46

[@abekenf3208]

тоже самое. все сделал как на видео. но на графиках ничего не отображается. админ может когда с вами связаться?

[@fergiztechnologies8442]

можно ли использовать прометеус и графана для мониторинга транзакций?

[@DigitalStudium]

Их можно использовать для мониторинга чего угодно. Можно довольно легко написать на python свой prometheus exporter, с него забирать метрики prometheus-ом и визуализировать в графане

[@imbaskill583]

Все сработало, только скажите как поменять имя которое отображается в Hostname? У меня на серве оно изменено, но в grafana отображается не оно

[@imbaskill583]

Дашборд 11074

[@DigitalStudium]

Не знал о таком, спасибо что поделились :-)

[@blia44]

Ептвоймать я хотел посмотреть одно а нашел решение другой своей проблемы ... Спасибо

[@titlov123]

подскажите пожалуйста , что делать если нет такого пути и самого файл /var/lib/docker/volumes/monitoring_prom-configs/_data/prometheus.yml ( система ubuntu 22.04) var/lib/docker/volumes/ и тут только два файла backingFsBlockDev , metadata.db

[@DigitalStudium]

А вы уже запускали команду docker stack deploy?

[@titlov123]

docker swarm init docker stack deploy -c docker-compose.yml monitoring@@DigitalStudium да , конечно. и все поднялось нормально и без ошибок а можно както при сборке контейнеров в docker-compose.yml , передать настройки из prometheus.yml ?

[@kxyfi]

запускай докер и всё остальное от рута

[@курагагагагагага]

Удалось решить проблему по итогу? Столкнулся с тем же, все работает но данного файла нет, как и директории /monitoring_prom-configs. В итоге (в Ubuntu) нашел данный файл по пути grafana-docker-stack/configs/prometheus/prometheus.yml Серверы добавил, работает.

[@vitalykargin]

Можешь объяснить назначение с 30 по 35 строки? К чему привязаны эти volume? 1:40

[@DigitalStudium]

Эти строки, фактически, создают соответствующие директории в папке /var/lib/docker/volumes Затем в этих директориях хранятся файлы из контейнеров grafana и prometheus. Таким образом, если остановить контейнеры, данные из них останутся в этих директориях. Если заново стартовать контейнеры, данные из этих директорий будут заново использованы внутри контейнеров

[@vitalykargin]

@@DigitalStudium Так вроде ж volume создаются в 7, 14, 21 строках. И описываются директории волумов. Отсюда и возник вопрос а куда цепляются волумы с 30 по 35 строку? к какому собственно контейнеру и какой директории. Или 30-35 строки нужны именно для создания. А уже 7,14,21 для использования?

[@DigitalStudium]

@@vitalykargin мой ответ конечно запоздал, но на всякий случай отвечу: да, 30-35 строки создают вольюмы, а выше они используются

[@kol9ngames214]

Не подскажите как сразу импортировать ID dashboard в docker-compose?

[@DigitalStudium]

Можно добавить Json дашборда в вольюм, как здесь: git.digitalstudium.com/digitalstudium/grafana-docker-stack/src/branch/alertmanager

[@kol9ngames214]

@@DigitalStudium Спасибо огромное

[@Trust_CanE]

Привет! Вот бы еще видео, как это все удалить :)

[@DigitalStudium]

docker stack rm monitoring

[@Trust_CanE]

@@DigitalStudiumспасибо)

[@j0ke48]

Подскажите, как оставить работу контейнеров? Или самих процессов. Пытаюсь остановить контейнеры, но они через несколько секунд снова стартуют.

[@DigitalStudium]

Скорее всего вы уже нашли решение проблемы, но на всякий случай отвечу: нужно использовать команду "docker stack rm имястэка"

[@j0ke48]

@@DigitalStudium спасибо!

[@gurufx3388]

Такой же вопрос возник) теперь знаю ответ, благодарю!

[@neophron197]

если на сервере уже работают контейнеры видимо в обычном режиме, и для установки node_exporter прописать docker swarm init не поломается все?)

[@DigitalStudium]

Да не, это ничего не сломает

[@DekardKain311]

А как это запустить потом? Вот я запустил в первый раз, все заработало на моих локальных виртуалках, одна была прометей+графана, а на нескольки других включен нод экспортер. Потом я отправил эти виртуалки в suspend. Включил обратно, docker ps показывает что контейнеры развернуты, и сами по себе виртуалки пингуются, но по портам ни графана ни прометей не открываются. Порты само собой открыты...

[@DekardKain311]

а вот завелось после того как нормально ребутнул виртуалку, но все равно не понял почему после суспенда не поднялось, апач нормально поднимается...

[@DigitalStudium]

@@DekardKain311 сложно сказать конечно, в чем именно у вас дело. Нужно смотреть syslog/dmesg , также я бы посмотрел логи apparmor (Ubuntu) или SELinux (RedHat based дистрибутивы)

[@DigitalStudium]

Ну и конечно tcpdump вам в помощь, если ничто другое не поможет

[@imbaskill583]

Приветствую, не добавляется нод экспортер в промиссиус, что делаю не верно?

[@imbaskill583]

# my global config global: scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute. # scrape_timeout is set to the global default (10s). # Alertmanager configuration alerting: alertmanagers: - static_configs: - targets: # - alertmanager:9093 # Load rules once and periodically evaluate them according to the global 'evaluation_interval'. rule_files: # - "first_rules.yml" # - "second_rules.yml" # A scrape configuration containing exactly one endpoint to scrape: # Here it's Prometheus itself. scrape_configs: # The job name is added as a label `job=` to any timeseries scraped from this config. - job_name: "prometheus" # metrics_path defaults to '/metrics' # scheme defaults to 'http'. static_configs: - targets: ["localhost:9090"] - job_name: "node-exporter" static_configs: - targets: ["node-exporter:9100"]

[@imbaskill583]

Хоть волком вой, вторые сутки сижу, в Targets нод експортер не отображается все равно. Вот такой формат тоже не помогает - job_name: "prometheus" static_configs: - targets: ["XXX.XX.XX.XX:9090"] - job_name: "node-exporter" static_configs: - targets: ["XXX.XX.XX.XX:9100"]

[@imbaskill583]

Все вопрос решен, спасибо чату GPT)))

[@Almas-fk6gf]

​@@imbaskill583а шо было

[@JhonPreston]

Добрый день, подскажите как удалить установленные контейнеры и отключить их запуск

[@DigitalStudium]

docker stack rm monitoring

[@JhonPreston]

@@DigitalStudium спасибо получилось, но в сетевых адаптерах остался докер-мост и еще один неактивный адаптер, их удалить в ручную?

[@DigitalStudium]

@@JhonPreston Можете вручную удалить, да. Возможно вольюмы докер тоже не удаляет автоматически

[@JhonPreston]

@@DigitalStudium у вас отличные видео, может будет в планах сделать серию по ключевым понятиям и основам докер. Видео в сети полно, но как-то кривовато, сложновато и многовато.

[@DigitalStudium]

@@JhonPreston у меня стоит это в целях, как только позволит время хочу создать серию видео и по докер, и по kubernetes

[@roorbac]

если после команды SIGHUP не появился на 9090 порту node exporter? я что то не так сделал?

[@DigitalStudium]

Команда sighup нужна, чтобы перечитать конфигурационный файл. Если он не перечитался, то нужно посмотреть с помощью команды docker logs логи Prometheus, там обычно написано, что помешало перечитать конфиг.

[@iliyabylich]

А на Винде будет работать?

[@DigitalStudium]

Будет, только надо изменения внести. Как минимум, node exporter виндовый развернуть а не линуксовый, а для остального кроме node exporter использовать WSL

[@aliakseiyushkevich5181]

как лучше обращаться к node exporter другого сервера, если он запущен в другом docker stack?

[@DigitalStudium]

Либо hostname:9100 либо ip_address:9100

[@abdulazizsobirjonov3014]

best

[@deady2791]

Здравствуйте, в чем мб причина закрытия контейнеров grafana и prometheus? при команде docker ps показывается либо только node-exporter либо node-exporter и grafana с prometheus у которых в статусе написано: up less than a second.🥲

[@DigitalStudium]

Нужно смотреть логи контейнеров упавших. docker ps -a Затем docker logs Если ps -a ничего не показывает, надо смотреть что случилось с помощью команды docker service ps

[@Tikhon_FaiR]

Привет, при переходе /var/lib/docker/volumes/monitoring_prom-configs/_data/prometheus.yml пишет отказано в доступе или доступ запрёщен подскажи ,что не так

[@Tikhon_FaiR]

теперь пишет ,что не существует такого файла

[@Tikhon_FaiR]

при этом файл есть - залез внутрь контейнера и нашёл его ,но не могу понять как его отредактировать

[@nikitosbertone]

добавь sudo перед командой cd

[@Tikhon_FaiR]

@@nikitosbertone да уже сделал в тот же день )

[@dropex2142]

После команды docker kill -s SIGHUP контейнер не запустился.....Жаль

[@DigitalStudium]

Посмотрите логи контейнера. Ну и второе, данная команда не перезагружает контейнер, если он работал до команды, то он продолжит работать после команды

[@avkarcr]

Отличное видео. Спасибо. Много пересмотрел но это реально лучшее. Короткое и четкое. Только вот не работает почему-то 😂 Оно вроде как должно работать. И конфиг смотрел, все отступы четкие, SUCCESS, и каждый шаг по гайду. Графана отображает н/д. При этом, повторюсь, каждый шаг по гайду - ошибок не было. При заходе через веб в prometheus 9090 метрики отображаются. При заходе на порт 9100 видны метрики экспортера. Но графана не отображает почему-то. Источник выбран prometheus. Dashboard привязан к prometheus. Еду в Питер 4 часа уже из Москвы и до сих пор не победил. Все. Сдаюсь. Пишу автору :) Дай совет, плз

[@DigitalStudium]

Привет! Если зайти в Configuration -> Data Sources -> Prometheus в графане, и ткнуть "Save & Test", то появляется ли надпись "Datasource is working"?

[@avkarcr]

@@DigitalStudium спасибо за ответ, вернулся из Питера, готов продолжать бороться и победить настройку ) Итак, при нажатии Save & Test отображается "Data source is working". Все зеленое. Все выглядит так, что работает. Но графана в дашборде ничего не показывает по-прежнему (

[@DigitalStudium]

​@@avkarcr Скопируйте содержимое из Dashboard Settings -> JSON Model, вставьте его сюда: pastebin.com и вышлите ссылку мне

[@avkarcr]

@@DigitalStudium И вот мой конфиг (IP скрыт, не localhost) # my global config global: scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute. alerting: alertmanagers: - static_configs: - targets: 'evaluation_interval'. rule_files: scrape_configs: from this config. - job_name: "prometheus" static_configs: - targets: ["XXX.XX.XX.XX:9090"] - job_name: "node-exporter" static_configs: - targets: ["XXX.XX.XX.XX:9100"]

[@avkarcr]

@@DigitalStudium ссылка не отправляется. Не стоит ли запретов на публикацию ссылок от гостей? Пару раз пробовал

[@kol9ngames214]

Здравствуйте, может кто знает, на debian встанет по этому примеру или нет?

[@DigitalStudium]

Да, конечно, пример из видео работает на любом дистрибутиве Linux

[@biomozgjele]

У меня Prometheus - Targets не появился node exporter

[@DigitalStudium]

reload делали?

[@biomozgjele]

@@DigitalStudium да

[@DigitalStudium]

@@biomozgjele Посмотрите логи контейнера prometheus. Возможно, в конфиге допущена ошибка, в таком случае при reload-е prometheus не сможет обработать конфиг, и в логах выдаст ошибку

[@biomozgjele]

странно. Сейчас проверил - у меня docker ps выдает только два активных контейнера. prometheus нет 268d5423ae55 prom/node-exporter:v1.3.1 3eea707ae9f7 grafana/grafana:8.5.3-ubuntu

[@DigitalStudium]

@@biomozgjele docker ps -a А затем смотрите логи с которыми Prometheus упал Если и это не поможет, то docker service ps И смотреть причину там

[@neophron197]

а почему после перезапуска постоянно мертвые контейнеры если "docker ps -a" ?

[@DigitalStudium]

А docker ps без -a что показывает? Дело в том, что docker ps -a показывает в том числе и "убитые" контейнеры. Если вы рестартовали контейнеры, то понятно, что у вас должны появиться "убитые" контейнеры

[@neophron197]

@@DigitalStudium понятно, спасибо, без -a показывает только рабочие

[@gregoryjenferd9740]

После удаления контейнеров создаются новые. Как это остановить?

[@gregoryjenferd9740]

Проблему решил - дело было в docker stak deploy. Помогла команда docker stack leave.

[@DigitalStudium]

Ну либо docker stack rm monitoring

[@dedm7759]

хмм у меня возникают ошибки и оне не показывает различные параметры,1:187: parse error: missing unit character in duration"

[@DigitalStudium]

На каком этапе возникает данная ошибка? Попробуйте сделать скриншот и дать мне на него ссылку: pasteboard.co/

[@dedm7759]

@@DigitalStudium забей я решил эту проблему , вообще я использовал шаблон node explore full , а он не даёт возможности деталь alert , просто создаём новую панель копируем метрики с прометеуса и в ней делаем Алерт

[@dedm7759]

и я просто использовал другой шаблон не как у вас на видео и все получилось

[@DigitalStudium]

А, понял. Надо было мне осветить тему алертов в видео, конечно. Если что, в репозитории есть ветка alertmanager, там приведен вариант докер стэка с алертами в телеграм бот

[@neophron197]

@@dedm7759 какой шаблон использовали?

[@ArtegaFM]

Это стандарт так называть «промисиус»?

[@DigitalStudium]

Смотря где.

[@ArtegaFM]

@@DigitalStudium а в каких случаях так говорят? В англоязычной среде?

[@DigitalStudium]

@@ArtegaFM да, как минимум в англоязычной среде в общении между русскоязычными ) В российских компаниях чаще говорят "прометей"

[@ArtegaFM]

@@DigitalStudium понятно, спасибо 😉

[@byldozer100]

подход когда все в докере - не для обучающего видео 😞

[@DigitalStudium]

Ок

[@moneyDev1111]

а зачем это делать в докере?

[@DigitalStudium]

Затем, что без Docker пришлось бы выполнять вручную множество команд для создания директорий, изменения прав, создания systemd сервисов и т.п. При этом разумеется, что Docker это не единственный способ автоматизации настройки мониторинга, но я предпочитаю именно его.

[@wh1tequark]

@@DigitalStudium это если собирать пакет. Если ставить с репозитория там это уже включено. Проверено на деб10

[@DigitalStudium]

@@wh1tequark Да, но в репозитории, как правило, лежит не самая свежая версия той или иной программы. Docker позволяет вам установить самую последнюю версию того же prometheus без лишних движений

[@wh1tequark]

@@DigitalStudium само собой это одна из причин почему собирают. Мне вот интересно другое в чем принципиальные отличия методик докер сварма от комповсера? Тк я со свармом не работал то делаю через комповсер который собирает докерфайл ну и естественно если что-то нужно изменить то меняем в докер-комповсере/докер файле > ребилд на новую версию без дт

[@DigitalStudium]

@@wh1tequark swarm не умеет билдить имэджи, но зато swarm умеет запускать контейнеры в нескольких репликах и много чего другого. Иногда более удобно использовать сворм, иногда компоуз, иногда без разницы :-)

[@Tikhon_FaiR]

Потратил больше 2 часов просто из-за не внимательности ))) Ребят ,а может кто привести пример как будет выглядеть пример ,чтобы добавить сервера или установить экспортёр через энсибл)

[@Чинчопа-ы3з]

база

[@azizmamoyan5428]

Сложно

[@ITAll]

Как остановить эти контейнеры...... Как я за-лся)))) и stop и rm и rmi и все вместе с && и НИЧЕГО... Автостартует это Д....о.... АААААААААААААААА))))

[@DigitalStudium]

docker stack rm monitoring

[@Генрих-х6х]

Подскажите пожалуйста. Проблема возникла, после перезапуска системы графана работает и нод экспортер работает а вот прометеус не стартует вместе с двумя другими контейнерами. То есть после перезапуска системы два контейнера из трех восстановились но вот прометеус не6 стал запускаться...

[@DigitalStudium]

Здравствуйте! Нужно смотреть логи контейнера с помощью команды docker logs

[@Генрих-х6х]

@@DigitalStudium все получилось, А за видео отдельное спасибо! сделал sudo systemctl enable docker. Удивительно двум контейнерам не нужно было, а нод экспортер стал запускаться. Кстати а не подскажете, а вот если мне надо все удалить. Я знаю как закрыть и удалить контейнер один, а вот прямо стеком? Или точно так же по отдельности по ID контейнеров их удалить и все?

[@DigitalStudium]

@@Генрих-х6х Отлично, что всё получилось. Удалить - docker stack rm monitoring

[@Генрих-х6х]

@@DigitalStudium огромное спасибо за помощь!

[@УБВТ2203ТинкеевВС]

Клюнул на превью.. Зачем показывать красивую девушку, а потом рассказывать мужским голосом? хDD

[@DigitalStudium]

Соболезную

[@MultiHbox]

++

[@aleksandrtimashov8145]

По мне - красивые картинки, для того что бы "доложить" начальству и показать "работу" ай-ти отдела. Я проклял все, с появлением этой системы в своем отделе. Ничем не превосходит своих конкурентов.

[@DigitalStudium]

Ну сам по себе мониторинг без оповещений о проблемах несёт мало пользы, согласен. Хотя иногда и помогает, когда нужно что то в ретроспективе посмотреть. Но если прикрутить оповещения о каких то проблемах с диском, памятью, cpu и т.п., то он очень даже полезен

[@sergeyshestakov607]

Cpasibo

[@Iseeyoucrybich]

у меня получилось спустя 4 месяца ахахахах, спасибо вам!!!!!!

[@Iseeyoucrybich]

Привет, отредактировал файл prometheus.yml и node-exporter не поднялся в пррмисиусе, если есть мысль в чем может быть первопричина буду признателен, еще вопрос по докер контейнерам, а в видео вроде не показано как можно объявить вольюмами один для конфигов другой логов, если будут возможность можно этот момент тоже показать за ранее спасибо 👀👀👀👀

[@DigitalStudium]

Привет! Зайдите внутрь контейнера prometheus и наберите команду promtool, как ниже: $ docker exec -it 0d9fe6950757 sh /prometheus $ promtool check config /etc/prometheus/prometheus.yml Checking /etc/prometheus/prometheus.yml SUCCESS: /etc/prometheus/prometheus.yml is valid prometheus config file syntax Тогда станет ясно, где ошибка в конфиге

[@Iseeyoucrybich]

/var/lib/docker/volumes/monitoring_prom-configs/_data/prometheus.yml # my global config global: scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is ever> evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 > # scrape_timeout is set to the global default (10s). # Alertmanager configuration alerting: alertmanagers: - static_configs: - targets: # - alertmanager:9093 # Load rules once and periodically evaluate them according to the global 'evaluation_> rule_files: # - "first_rules.yml" # - "second_rules.yml" # A scrape configuration containing exactly one endpoint to scrape: # Here it's Prometheus itself. scrape_configs: # The job name is added as a label `job=` to any timeseries scraped from > - job_name: "prometheus" # metrics_path defaults to '/metrics' # scheme defaults to 'http'. static_configs: - targets: ["localhost:9090"] - job_name: 'node-exporter' static_configs: -targets: ['node-exporter:9100'] честно говоря так и не удалось получить желаемого результата, я извиниюсь конечно за тупые вопросы, но могли бы вы проверить конфиг ? P.S. Внутрь контейнера я так и не смог попасть (

[@DigitalStudium]

@@Iseeyoucrybich похоже у вас отступы не соблюдены. Проверьте конфиг здесь: codebeautify.org/yaml-validator/cb6e91ef

[@курсы_по_физике]

Здравствуйте. У вас есть гайд, как добавить мониторинг с другого сервера? Как установить там только node exporter и всё грамотно мониторить на одном сервере. Боюсь запутаться :(

[@DigitalStudium]

На сервере надо только это: docker stack deploy -c node-exporter.yml exporter А дальше меняете конфиг Prometheus и делаете релоад, это описано в README.md файле github.com/digitalstudium/grafana-docker-stack/blob/main/README.md

[@курсы_по_физике]

Здравствуйте еще раз. У меня проблема. Не работает корректно датчик скорости. Но если другой сервер выбрать, где только node exporter (установка только apt-get install prometheus-node-exporter), то там скорость работает корректно. Как быть?

[@курсы_по_физике]

И по дефолту на графике со второго сервера вот эти графики recv eno1 trans eno1. А на основном, где графана и прочее, там recv eth0 recv eth1 recv eth2 recv lo trans eth0 trans eth1 trans eth2 trans lo Но при этом данные не корректные. Что-то в районе 0-8 кб. И словно не то что-то отображается. Даже во время бекапов

[@DigitalStudium]

Когда я записывал данное видео, я не учёл, что в режиме docker swarm node exporter не умеет собирать метрики по сети корректно. Для корректного сбора метрик по сетевым интерфейсам, нужно развернуть этот мониторинг с помощью docker compose. Но потребуются небольшие правки в yaml конфиг

[@DigitalStudium]

Либо можно развернуть node exporter с помощью apt, как сделали вы. В общем, docker swarm не вариант для node exporter. Использовать нужно либо docker compose, либо apt для его установки

[@DigitalStudium]

Хотя может и в swarm заработает, надо поэкспериментировать будет на досуге. В любом случае, спасибо что заметили этот момент

[@WriterMayorov]

Все такие умные или просто я тупой? Судя по комментариям всем всё понятно и всё всё сразу же установили.

[@feelcode_it]

Добрый день, подскажите, какая нагрузка у все этой системы и как обезопаситься? у меня есть боевой сервер, на него я должен поставить node-exporter, а, например, локально графану и прометеус?

[@DigitalStudium]

Нагрузка небольшая. Обезопаситься можно с помощью опции docker swarm под названием deploy resources (можно указать максимум CPU и RAM для контейнера). Как то так: services: node-exporter: image: prom/node-exporter:v1.5.0 deploy: resources: limits: cpus: '0.5' memory: 350M reservations: cpus: '0.1' memory: 100M И да, графану и прометей можно локально, но можно и на каком-то другом сервере.