3. Logstash - Пример централизованного сбора логов

RUS:
В этом видео я показал как можно централизованно собирать логи используя Logstash (без настройки фильтров)
ENG:
In this video, I showed how you can centrally collect logs using Logstash (without setting filters)
9:00 - Configuring Logstash to read Apache logs
12:30 - Configuring Nginx to send logs to Logstash
17:35 - Running a Docker container with any application that will send logs to Logstash
19:49 - Setting up the central Logstash with its inputs and outputs
25:05 - Go to Kibana to configure the display of logs from different indices
33:55 - Show all configs together
36:01 - Showing Vagrantfile
Vagrantfile (options):
pastebin.com/c...
controlc.com/0...
Code on GitHub:
Download: github.com/med...

[@medov.alexey]

9:00 - Настройка Logstash для чтения логов Apache 12:30 - Настройка Nginx для отправки логов в Logstash 17:35 - Запуск Docker контейнера c любым приложением который будет отправлять логи в Logstash 19:49 - Настройка центрального Logstash с его инпутами и оутпутами 25:05 - Заходим в Kibana для настройки отображение логов с разных индексов 33:55 - Показываю все конфиги вместе 36:01 - Показываю Vagrantfile Vagrantfile (где можно скачать): - pastebin.com/cNZKYm1r - controlc.com/0c50266c

[@alg191088]

Спасибо за видос! Теперь мне нужно видео "где можно потерять часть сообщений при отправке логов через логстеш" )

[@ppashka]

Супер! Без воды, наглядно и понятно. Спасибо!

[@iriderpro]

Спасибо за видео. У меня вопрос. Как указать в конфиге, если у нас есть 2 ли более apache серверов с установленными logstash в client mode. сейчас все что падает на 500 порт тегируется одним и тем же тегом. а как разделять логи от разных апачей?

[@tkchannel5856]

Все классно и понятно объяснено, жаль только, что не в лайв режиме была настройка, а показано на уже настроенной системе

[@nurreke5530]

Спасибо очень полезно!

[@vladimirkulakov6126]

Огромное спасибо за потрясное видео! Очень полезно!

[@Knolly888]

Алексей, хорошее видео, но не хватает информации по настройке эластика. Logstash настроил, он принимает логи и например может записать их в файл, но когда я указываю elasticsearch, то дальше тишина, не могу даже понять уходят они туда, прихоядт они там или нет.. Может kibana не получает от ekastic :(

[@medov.alexey]

Добрый день. Видео не про настройку Elastic, а про использование Logstash, поэтому другим системам время практически не уделяется в этом видео. Посмотрите Vagrantfile, чтобы понять что настраивалось касательно эластика. Советую вам проверить что Elastic действительно запущен и слушает на тех адресах и портах, на которые отправляет логи Logstash, второе что у вас нет запретов на уровне сети (iptables, ufw, firewalld и т.д.) Обычно после установки Logstash работает из коробки без проблем.

[@Knolly888]

@@medov.alexey спасибо за ответ. Уже починил, правда не уверен как :)

[@denisov1985]

спасибо

[@SuperL1pton]

Алексей, привет. Огромное спасибо за серию видео (правда я пока посмотрел три первых). Это реально огромная работа и уникальный контент. Очень круто объясняете материал. Давно такого не встречал. Если не трудно, сможете ответить на некоторые нубские вопросы? :) 1) Можно было бы установить к webserver1 (apache) какой-то нибудь Beats, для того, чтобы отправлять логи в централизованный logstash (0.10)? Или это архитектурно не правильно или даже технически не имеет смысла ? (Скорей всего я не понимаю, как работает Beats) 2) Не будет ли много отжирать мощностей Logstash находясь на webserver1 вместе с Apache? 3) Сколько требуется (примерно) мощностей, чтобы logstash был развёрнут и работал рядом с каким-нибудь источником? Какие вообще минимальные рекомендованные мощности для logstash? 4) Часто в продакшн используют logstash, в виде клиента для отправки логов? Или бестпрактис использовать что-то другое? 5) Настройки input в logstash способны, как забирать самостоятельно логи из файла (например, как с логами Apache), так и принимать, допустим по syslog от систем, которые умеют логи отправлять? //update: При просмотре видео понял, что ответ на мой вопрос - Да, logstash может это делать, всё зависит от конфигурации input. То есть logstash может, как забирать логи из файла, если input настроен, как клиент, так и принимать, например по syslog и прочим протоколам. 6) При просмотре портов, которые слушаются на централизованном сервере Logstash, при просмотре tcp, были нужные порты 5000 и 6000, но они были уже как tcp6 (ну и маска соответстующая ipv6 - :::5000, :::6000). Это нормально? Почему именно tcp6 ? 7) А как и где разграничить логи? Например, чтобы отпавлять разные виды логов (access, error), нужно их отправлять по разным портам? Чтобы потом в input их корректно принимать уже разделенными. Или разграничение по разным видам логам делается ещё хитрее уже на уровне отправки их в разные индексы в elasticsearch с помощью filter?

[@medov.alexey]

1) Можно сделать как угодно, хоть beats хоть что то другое. Данное видео просто очередная демонстрация возможностей Logstash. Не советую использовать данную схему в реальности на проде.

[@medov.alexey]

2) Будет, лучше так не делать. Я сделал так просто для демонстрации возможностей Logstash.

[@medov.alexey]

3) Потребление памяти, процессора, сети и диска зависит от нагрузки (количества сообщений, режима работы, обработки или не обработки сообщений). Если хотите посмотреть сколько потребляется ресурсов рекоммендую развернуть Logstash на голой машине и сделать небольшой тест чтобы понять чего сколько потребляется, и увеличивая по тихоньку нагрузку станет ясна тенденция и вы получите информацию нужную вам.

[@medov.alexey]

4) Не особо часто, встречал как минимум в двух компаниях где я работал. Чаще встречается fluend, fluenbit или vector, так как они менее прожорливые (в частности fluentbit и vector) Какой выбирать инструмент зависит от задачи, политики компании, и много чего еще.

[@medov.alexey]

5) Да

[@ПовышевДенис]

Отличное видео, как раз искал способ как централизованно собрать логи. Спасибо!

[@loydmaier]

Алексей, очень все детально и понятно пояснили. Спасибо 🙏🏻

[@АлексейМитрофанов-з2к]

Спасибо

[@АлексейБ-с7й]

Огонь видео. Спасибо!

[@valeriylitvinenko7345]

Спасибо большое!

[@МихаилБарков-ф3х]

Полезно, спасибо.

[@tiplive6537]

Добрый день, Алексей! Сегодня развернул машину, все работает кроме Logstashservera, точнее через нее все логи проходят но на него не возможно попасть, по SSH сбрасывает. в чем может быть проблема ?

[@medov.alexey]

Причин может быть много, от банального отличия версий Virtual Box, Vagrant, образов которые вы используете, версий ПО которые устанавливаются внутри виртуальных машин, сетевых проблем, доработок кода который вы возможно совершили, надо просто поэтапно проверить все шаги, что где запускается, а что не работает, проверить сетевую доступность и т.д.

[@4itersyka]

firewall?

[@1984Nik1]

супер

[@nikitayasnev]

такое чувство будто перед видео ты даже не подготовился

[@LifeForFap]

Очень радует название картинки)))