Elasticsearch installation - 02

[@ibrahimakhalilougueye]

Merci @Xavki d'avoir fait cette playlist. C'est vraiment intéressant et facile à comprendre.

[@xavki]

Cool

[@PapaPap0ute]

Ah parce qu'en plus, je vais pouvoir profiter de cette série dès ce weekend, sans attendre, juste parce que j'ai eu envie de modestement récompenser ton travail en m'abonnant ? Comme quoi l'altruisme à toujours du bon :)

[@xavki]

Hello !!! et oui c'est bien normal. Un échange de bons procédés. Merci à toi. C'est pareil pour toutes les vidéos non publiées, les membres les ont dès que je les postes sur youtube sans attendre. Bon WE et peut être au live de vendredi prochain ;)

[@samchamachahalla6182]

Merci sympa claire net et précis

[@xavki]

Avec plaisir

[@casimirtapsoba3784]

Bonjour @xavki je rencontre une difficulté lors de la configuration de elasticsearch dont je trouve pas la solution. Mon serveur tourne sur une machine virtuelle ubuntu 20.04 avec vmware exsi comme hypperviseur mais lorsque je modifie l'addresse IP host sur le fichier de configuration de ELASTISEARCH(interface ens192 sur la carte reseau) cela ne marche pas. Par contre en localhost il n'y a pas de soucis. Merci d'avance pour votre eventuelle aide

[@xavki]

Bonjour, il faudrait regarder les logs elastic et regarder également les ports en écoute avec netstat -ntaup

[@casimirtapsoba3784]

@@xavki merci c'est ok

[@pierreclaverie3884]

Bonjour et merci pour toutes ces videos passionantes. Il y a t-il un vagrant file de reference afin de pouvoir executer ces tuto?

[@xavki]

Bonjour, tu dois pouvoir trouver des éléments à remettre à jour ici : gitlab.com/xavki/vagrant-files

[@bosjr5557]

Je dois repartir à zéro, quelle config minimale pour une vm Debian ?

[@elmed2577]

Bonjour, Merci pour ce tutoriel La définition de la machine centos n'est pas dans le fichier Vagrant ? Où je peux le trouver svp ? Merci d'avance

[@xavki]

Bonjour je vous invite à vous rendre sur le vagrant hub et récupérer la dernière box centos à jour. Bonne soirée

[@igui9424]

Hello, merci pour les vidéos ! Quels prérequis hardwares conseilles-tu poursuivre ce tuto ? Je comptais partir sur 3 VM CentOS mais pour la quantité de ressources à allouer je pêche un peu. Et je voudrais savoir aussi si tu as des pistes sur les prérequis hardware pour une mise en production d'ELK avec disons 100mo de logs par jour avec une rétention de 2 mois ? Merci encore !

[@xavki]

Hello c'est tout petit. Tu peux prendre quelque chose de mini genre 4G ram par machine

[@iruushilol3843]

bonjour, je voudrais monter un ELK "Configuration files must be readable by the elasticsearch user" doit-on suivre ces étapes aussi ?

[@xavki]

Bonjour, pb de permission sur les fichiers de conf ou un truc du genre.

[@iruushilol3843]

@@xavki pour l'instant non mais je ne sais pas si je doit aller au delà de l'étape max Map count

[@casimirtapsoba3784]

Salut merci pour la video je travail actuellement sur ELK mais mon Elasticsearch demarre difficillement je dois souvent faire plusieurs tentatives avant de le lancer et j'aimerais savoir si y'a pas un moyen de ressoudre ce probleme (en generale c'est "job for elasticsearch.service fail " je recois lorsque je tente de start) merci d'avance pour une eventuelle aide.

[@xavki]

Bonjour combien de CPU et de ram alloue tu à ton serveur ?

[@casimirtapsoba3784]

@@xavki je suis en virtuelle avec CPU:2 & 2G RAM

[@aimenigh4413]

super video ! juste une question, quand je fais le curl ca me répond : (52) empty reply from server est ce que ca veut dire que c bien installé ?

[@xavki]

Hello. Non un curl sur le port 9200 doit tte répondre des informations sur le cluster

[@aimenigh4413]

@@xavki J'ai régler le probleme , en fait dans le fichier elasticsearch.yml quand le xpack.security.enabled est à true, il bloque l'affichage du contenu de la page html par mesure de sécurité.

[@fracorbas]

@@aimenigh4413 ça fait littéralement une heure que je cherche d'où venait mon erreur, j'étais en train de devenir chèvre. Lorsque enfin, je me suis dit "je ne dois pas être le seul à avoir cette erreur quand même. Là je tombe sur ton commentaire, et ma santé mentale est sauvée, merci.

[@aimenigh4413]

@@fracorbaset bah ça fait plaisir 😅✌ bon courage à toi ... en tout cas si t'es nouveau avec elastic tu seras confronté à plusieurs erreurs de ce genre 🙂 n'hésite pas à me laisser un commentaire ici pour te faire gagner du temps 💚

[@fracorbas]

@@aimenigh4413 je t'avoue que j'en chie pour traiter les logs cisco, c'est vraiment dur ce truc, mais bon, c'est trop bien pour ne pas être mis en place

[@alexandrethill9372]

Bonjour, le sujet m'intéresse mais tu ne parles pas avant l'installation de sizing de ces serveurs/VM. Sur quelle architecture commencé. Dois je partir sur 2 nœuds ? Combien de mémoire, vous ect... Difficile en débutant de dimensionner.

[@xavki]

Bonjour tu peux commencer par un serveur qui pour avoir la stack ELK il lui faut environ 4G de RAM et tu peux ajouter 4 CPU.

[@alexandrethill9372]

@@xavki ok merci. Donc je déploie l'ensemble des services sur une seule VM en gros ? Je suis hébergeur je dois avoir une 100 aine de vm à log et une dizaine d'équipements réseaux

[@xavki]

@@alexandrethill9372 Rebonjour, avant de partir de dedans je te recommande de te former sur la techno tu y veras plus clair. Tout dépend des volumes de logs. 100VM cela reste assez réduit. J'ai connu des machines qui génère 80G de logs par jour ça veut pas dire grand chose. Le cluster ES je recommanderai 3 noeuds à minima. Ensuite à voir si tu as du physique et du ssd derrière. Mais il faut faire des tests par rapport à des logs. Des équipements réseaux peuvent générer beaucoup de logs (cf un firewall). ++

[@alexandrethill9372]

@@xavki Merci je vais tester je verrai bien

[@xavki]

@@alexandrethill9372 yes prend quelques VM tu leur installé filebeat et tu fais un petit cluster ES de deux noeuds pour commencer

[@rabboubou8860]

Hello, pourquoi ne pas passer par le rpm via le gestionnaire de paquet yum simplement ?

[@xavki]

Rab Boubou c’est une question de goût. Mais bien sûr tu peux le faire.

[@rabboubou8860]

@@xavki Pas que, ça permet surtout d'avoir la dernière version supporté par l'OS et les mises à jour des dépendances qui se font en même temps ;). Niveau sécu et gestion d'une infra le gestionnaire de paquet reste la meilleure solution :d . Merci pour ton retour. EDIT: en général un rpm ou un zip est utilisé quand un serveur n'est pas exposé sur internet et que le serveur ne peux pas passer par un repo autre que celui officiel ( Redhhat par exemple ).

[@stevedecot7757]

Bonjour, je bloque sur quelques questions pas liées directement au fonctionnement d'ELK. En effet je souhaite me lancer dans cette belle aventure mais je bloque sur un principe qui n'est peut-être pas lié à ELK au sens propre : Je compte le mettre en prod en privilégiant docker mais ces questions me bloquent un peu : - Est-il correct ( au sens perf, bonnes pratiques .. ) de lancer la stack docker sur un seul hôte ? - Faut-il lancer cette stack sur plusieurs hôtes distinct ? - Il est préférable de le l'installer en client classique sans docker sur plusieurs hôtes distincts?

[@xavki]

Bonjour Steve, bienvenue parmi les membres vip ;). La question est effectivement intéressante. La mise en conteneur si je peux me permettre doit reposer sur une nécessité. Pour toi tu comptes y trouver un interêt sur quels aspects ? Personnellement (mais ce n'est que mon avis), je ne mettrais pas cela dans des conteneurs en production en particulier (et surtout voir uniquement) elasticsearch. En fait celui-ci consomme pas mal de mémoire et parfois java et docker ne font pas bon ménage mais les choses semblent moins poser de problème maintenant. Si tu fais de la production je pense que tu vas monter un cluster elasticsearch à plusieurs noeud (c'est un cluster lol). Donc la communication entre les noeuds passera par l'exposition de ports des hosts pour qu'il puisse se découvrir les uns et les autres. Cela semble pas poser de problème mais bon il fau tle prendre en compte. Reste surtout la partie datas sur plusieurs aspects : - il te faut bien gérer les montages des volumes, cela ne doit pas être un pb - et également que se passe-t-il en cas de changement de version d'elasticsearch. La mise à jour du binaire est facilité mais il faut que les datas restent compatibles... ce qui est généralement le cas. Donc pour te répondre, oui tu peux le faire je pense que cela ne pose pas de problème particulier même si la configuration de elasticsearch pour docker est moins facile. Mais personnellement je n'y trouve pas de réel gain. Et bon ça se resent même si je suis fan des conteneurs, je mettrai pas mal de bases de données en conteneurs... sauf elasticsearch... un mauvais sentiment (non justifié techniquement mais ej le sens pas). Désolé de ne pas te donner une réponse affirmative et je te livre tout cela un peu en vrac. Enfin concernant toute la stack sur un seul hote, cela dépend vraiment des volumétries traitées pour la consommation en volume et en cpu/ram. Si tu as beaucoup de datas à traiter oui séparer c'est plutôt bien. En outre cela peut aussi dépendre de l'exposition de ton kibana. Tu peux par principe te dire que tu veux éviter qu'une GUI soit sur le même serveur qu'une base de données. Kibana peut aussi te servir à gérer d'autres cluster ES. Pour logstash, c'est vraiment le flux de datas qui va être décisif. Beaucoup de datas à traiter = plus de ram/cpu consommé = moins envie de le mettre sur la même machine que elasticsearche et kibana. Voili voilou. je suis pas sûr de t'avoir aidé. Perso je fais plus sur cette stack du sans conteneur. Et pour la sépration cela dépend de tes serveurs et du flux et volume ++

[@stevedecot7757]

@@xavki Merci pour ta réponse, le flux de données n'est pas volumineux. On dispose de serveurs pour le déployer tant en physique qu'en docker. Je trouvais simplement la configuration client plus simple ( notamment par facilité d'apprentissage via ta playlist) que par docker. Étant au tout début, je veux juste suivre la "bonne pratique". Pour le coup, je vais te suivre en client physique sur des serveurs et en docker afin de comparer de moi-même la différence. Merci beaucoup !

[@SkriixGaming]

Salut, je n'ai pas bien compris à quoi sert la ligne "network.host 0.0.0.0"

[@xavki]

Bonjour il s'agit de définir les interfaces utilisés par elastic pour écouter. En l'occurence 0.0.0.0 permet d'utiliser toutes les interfaces de la machine. ++

[@SkriixGaming]

@@xavki merci :)

[@bosjr5557]

Installation OK sur Debian 12.6 avec Elasticsearch 8.15 et version sécurisée

[@bosjr5557]

Seconce installation OK pour ELK et Kibana

[@christophegrenier53]

Hello, dans la nouvelle version le xpack security est intégré..

[@xavki]

Bonjour je comprends pas trop ta remarque. C'est payant le xpack.

[@prudencetanguyglaba1324]

Hello, je n'arrive pas à lire la suite des vidéos pourtant je suis belle et bien abonné à la page

[@xavki]

Bonjour, malheureusement les autres vidéos ne sont pas encore publiques et sont uniquement accessibles aux membres. Si tu souhaites devenir membre, il faut cliquer sur "rejoindre". KZbin n'est pas très bon dans la traduction et a mis abonné à la place de membre. A bientôt. Xavier

[@neutrinos401]

@@xavki Une autre facon c est payant . malheureusement j ai trouvé d'autre cours plus detaillé et c est gratuits ...cette facon de payer n est pas correct mais elle reste votre droit ...selon moi je le fais autrement

[@xavki]

Abdellatif Gherabi aucun pb

[@xavki]

Abdellatif Gherabi toutes les vidéos sont gratuites si tu attends leur publication

[@xavki]

Abdellatif Gherabi la chaîne c’est actuellement 600 vidéos publiques et gratuites pas juste ELK. C’est 150 vidéos en attente de publication que les membres peuvent déjà avoir mais qui seront publiques après. C’est aussi 4 par jour de boulot pour moi en plus de mon taff et en sacrifiant pas mal de trucs. C’est 4 à 5 livres que j’achète par mois et un peu de matos. Donc voilà je me dis que ça va c’est pas une arnaque et que toutes les vidéos sont gratuites a qui peut attendre comme ça a toujours été le cas. Le seul changement aura été de dire que ceux qui veulent contribuer à la chaîne et ou qui veulent les avoir avant l’heure le peuvent. Il y a quelques mois avant les membres tout le monde attendait. Voilà le terme correct est un peu limite. Mais voilà c’est ainsi. Je ne connais pas ta situation

[@jlone1378]

Bonjour Xavki. Je commence cette série avec beaucoup d’intérêt. Par contre je vois que depuis cette vidéo qui date de 2 ans, la société elastic a rendu ses produits payants. Je me demandais quel impact cela avait sur les installations déjà existantes? Je n'ai pas vu de fork open-source comme alternative. Merci pour le travail accompli et toujours de grande qualité technique. Pour info j'essaie de m'abonner à la chaîne mais impossible. Une fenêtre s'ouvre et tourne dans le vide. Je retenterai plus tard.

[@xavki]

Hello, alors une partie des services de certains des produits est payante mais il y a largement de quoi faire sans taper dans le domaine du payant. D'ailleurs il existe ce que l'on appelle un "fork" de certains projets tel que opensearch (anciennement opendistro cf vidéos dans la playlist). Ce produit reste encore actuellement pour partie sans égal et est encore largement utilisé. Ah pour la chaine je sais pas trop. Tu parles bien des abonnements ou des membres ?

[@jlone1378]

@@xavki Merci pour les renseignements. C'était pour devenir Donateur car je souhaitais contribuer financièrement au développement de la chaîne et participer modestement en contre partie de l'énorme travail que vous fournissez. C'est bon cela fonctionne j'ai pu avoir accès au paiement.

[@xavki]

@@jlone1378 ah yes merci c'est gentil. Effectivement tu as le badge welcome 😉❤️