AWS - Auto Scaling Group - Авто Клонирование Серверов

AWS - Auto Scaling Group - Авто Клонирование
Использование:
Launch Configuration + Auto Scaling Group + Load Balancer
Буду рад паре баксов, можно даже Канадских :) www.paypal.me/DenisAstahov

[@sharipalikhanov9166]

8:05 (блин, бл*ть, короче запутался) это просто лучшее!!!! ты супер!!!!

[@ADV-IT]

Ну а как же иначе, если что-то не так, как это еще назвать !? :)

[@glebmirosnikovs6722]

Меня тоже улыбнуло. Вообще такие вставки разряжают атмосферу. Учишься с улыбкой! =)

[@glinkinivan]

14:12 - Здесь важная фигня...но это все я не использую никогда. Честно говоря, я не сильно знаю, что это такое. Нахрен оно мне не нужно)) Это лучшее)

[@user-qw1mo2lc8i]

12:07 Я вам ща всё покажу, так что спокуха

[@onemasterlomaster1829]

*40 просмотров и 3 лайка вам что трудно нажать палец вверх? ИНФА БАБЛА НЕИМЕВЕРНОГО СТОИТ ВЫ ХОТЬ БУДЬТЕ БЛАГОДАРНЫ ЗА ЗНАНИЯ! Я ПРОСТО ХЕРЕЮ С ВАС! И ТАК ЧЕЛОВЕК ДЕЛИТСЯ С ВАМИ ИПОЛЕЗНОЙ ИНФОЙ , ВЫ ДАЖЕ ЛАЙК НЕМОЖЕТЕ ПОСТАВИТЬ!*

[@TheDfghdhg]

Отличные уроки! Спасибо за твой труд.

[@Majkirsche]

Посмотрела 2 ваших видео и стала вашим фанатом! Давно не видела такой отличной подачи информации, буду смотреть и дальше, а если возьмут меня на работу на которую хочу, то и смогу помочь вашему каналу. Вы супер мозг!

[@ADV-IT]

Спасибо, рад слышать

[@deniskazantcev]

Да, Денис, всё понятно! Очень круто! Благодарю, тебя 🙏

[@mr.miller6095]

Спасибо вам огромное за труд и удачи на экзамене! Подписался, жду продолжения сериала :)

[@user-rx6hx6ts4m]

Доступно, понятно. Спасибо за полезную инфу!!!

[@fancystacy]

Спасибо. Сейчас модно делать автоскейл на лаунч-темплейтах, а не лаунч конфигурейшинах, потому что конфигурейшн нельзя изменять и нужно создавать новые, а темплейты можно дорабатывать по желанию. Хотя, если компания использует подход immutable, может, это и хорошо.

[@siarheilabetsik5658]

Таким простым языком такие сложные вещи. Спасибо за твой труд, Денис!

[@damirmanyapov]

Супер интересно, продолжаю смотреть запоем этот плейлист.

[@hook_khv]

Бро, очень крутые у тебя уроки! Продолжай выпускать видео 🙂

[@user-bc4pr6nv1h]

Дякую, спасибо, thank you! Лайк

[@exsklon]

Grazie mille! We are on the line)) Thanx for your interview yesterday!

[@ADV-IT]

My pleasure!

[@MaksimKovtun-gm4pd]

Всё, в 2023 году "Amazon EC2 Auto Scaling no longer adds support for new EC2 features to launch configurations and will stop supporting new EC2 instances types after December 31, 2022. We recommend that customers using launch configurations migrate to launch templates." То есть создавать можно, но поддержки не будет. Правда, template такой же по содержанию, плюс вроде как его можно динамически менять, без создания дубликата и удаления старого.

[@Avrora_says_Didi]

Спасибо за полезную инфу!!!

[@vitaliybaker4137]

Thank you for cool lessons!

[@ADV-IT]

You are Welcome!

[@user-ri5tk8wn9f]

Голос и манера общения как у инженера по охране труда у меня на заводе))) ахаха))

[@evgeniybond90]

Топовый топчик !!!

[@LANTree2011]

когда идет объяснение min max desired, можно вместо слов вставить картинку с aws, она очень наглядна, а с твоими комментами вообще хорошо заходит, лучше чем этот текст в столбик :)

[@ADV-IT]

Когда я это записывал, мало информации было там толковой

[@21JackHammer]

можете опустить количество инстансов до 1го,а после запустить на единственной машине стресс тест на цпу, и посмотреть, как подымается ещё одна машинка (нашёл на просторах инета , просто засунул всё в скрипт, и что-то сработало) #!/bin/bash md5sum /dev/urandom - Single thread CPU test stress --cpu 4 --timeout 600s - Multi threadCPU test cat /dev/zero | bzip2 -c > /dev/null - CPU Stress Test

[@21JackHammer]

UPD, после загрузки проца последней машины, появляется не одна машина, а желаемое количество. То бишь, я выставил 4, без нагрузки упало до мин - 1. После нагрузки проца по максимум на оставшейся машине, поднялась не одна машина, а все 4. Наверное так и задумано)

[@RayUa]

Спасибо!

[@andruwa13]

Спасибо огромное

[@ADV-IT]

Не зачто!

[@dastanntilegen7656]

спасибо!

[@ruslan.muratov]

Спасибо за ваши уроки. Очень полезно. Пытаюсь применить на практике для своих проектов. Вопрос: Как такое решение будет работать с сайтом доски объявлений? База, да отдельно(по вашему уроку 44-45). Но еще заливаются файлы(картинки) на сервер. Я думаю горизонтальное расширение не пойдет. Картинки загруженные потерям. Так?

[@ADV-IT]

Картинки храни в S3. И со всех серверов от туда их считывай

[@dmitrysokol6883]

Доброго дня. если не затруднит не могли бы обновить видео, потому что там все поменялось. пока еще не разобрался как там все работает. ваши видео бы помогли. спасибо

[@Alex_La]

Пока прикручивал Classic Load Balancer (именно так он называется теперь) 3 виртуалки успели удалиться)))

[@RizakFamily]

Спасибо огромное за урок, подскажите пожалуйста - необходимо настроить Auto Scaling для Mysql Rds - на aws есть вариант из коробки - avrora mysql - но из за несовместимости розработки необходимо именно под чистый mysql (InnoDB) - не подскажи в какую сторону посмотреть и где взять инфу? Большое спасибо!

[@ADV-IT]

MySQL на серверах в ASG не получится. Просто ставь кластер MySQL с на EC2 с репликацией

[@RizakFamily]

@@ADV-IT то есть ASG настраивать на EC2 где уже будет вертеться бд?

[@ADV-IT]

@@RizakFamily Вообще ASG не подходит для Database

[@RizakFamily]

@@ADV-IT не понимаю, так ведь есть у них решение из "коробки" - aws.amazon.com/getting-started/hands-on/aurora-autoscaling-with-readreplicas/# просто мне не подходит аврора

[@ADV-IT]

ASG для EC2 это другое совсем.

[@dmitriymovchan6563]

Я так понял этот Auto Scaling Group нужно обязательно использовать вместе с лоад балансером? Иначе просто пропадает весь смысл.

[@ADV-IT]

Не обязятельно, если тебе нужны например серверы которые тырят информацию с инета, им не нужен лоад балансер, они независимые и AutoScaling можно зделать на размере трафика например.

[@obildev]

Привет, Денис! Спасибо за уроки. Вопрос, у меня сервер приложений . Пользователи подключаются по РДП. На нем установлено приложение которое настроено для работы с определенной базой данных на другом сервере. Можно на сервер приложений применить АСГ? Скрипты нужно написать установить такоето приложение с настройками для работы с определенной базой данных?

[@ADV-IT]

Можно. Используй PowerShell скрипт в Bootstrap UserData, и при создании EC2 скрипт будет запускаться чтобы всё установать и настроить. Еще можно создать один EC2 зайти на него и все установить и настроить, Потом сделать из этого сервера AMI(Image) и в ASG использовать этот AMI.

[@obildev]

@@ADV-IT Спасибо, понял

[@Ivan-wp1ne1]

Денис, а почему при росте нагрузки вертикально не рекомендуется? добавляем больше RAM и CPU и норм. А, потому что это статичное масштабирование, ясно. Оно не учитывает текущих потребностей в мощностях. И autoscaling вертикальный никак не замутить, потому что требуется рестарт сервера - это downtime

[@ADV-IT]

Для этого нужно делать Stop-Start, в итоге Downtime.

[@michaelmichael1640]

Спасибо. можно получить урок как это все сделать вместе с докером. Типа я запуская докер, это все автоматом автоскейлится и логи потом собираются на одном инстансе??? такое возможно?)

[@ADV-IT]

Все возможно, но я делаю уроки показывая отдельные сервисы. Сам соединяй все сервисы. В уроках Пайтона мне кучу программ просят написать как пример, но я показываю как пользоваться языком, а ваша очередь творить из этого ваши программы и идеи. Жди урока по ECS и CloudWatch Logs

[@user-ye8zh3ep7m]

Docker swarm, kubernetes?

[@TheDfghdhg]

Как-то ранее говорили что можно вертикально скейлится с большего на меньший EC2. Я такой возможности не нашел. Может не правильно понял и поменять EC2 с большего класа на меньший не получится?

[@ADV-IT]

Можно вертикально скелйится вверх и вниз. Запускаешь на пример t2.micro Маловато тебе его, останавливаешь (STOP), меняешь в Instance Settings > Change Instance Type на c4.xlarge например. Запускаешь. Оказалось слишком большой, тогда останавливаешь (STOP) меняешь опять на например t2.medium

[@TheDfghdhg]

Спасибо! То что нужно!

[@1o11o11]

В этом случае это будет Manual Scaling :)

[@Alex_La]

А почему добавляются 4 сервера, если указано чтобы они добавлялись при CPU Utilization > 80%? Потому что Load Balancer не подключен?

[@ADV-IT]

kzbin.info/www/bejne/eXiXgaqngLCJl68

[@dmitry_5525]

Интересно, можно ли совместить горизонтальный скалинг, со скалингом кубернетис?

[@ADV-IT]

Можно и нужно

[@silin1982]

А можно скриптики прикладывать, а то приходится в ручную набивать - изобретать?

[@ADV-IT]

Да там они такие простые, я не сохранял их даже

[@metr1x114]

Добрый день. Не совсем понял на счет автодобавления серверов. Например у меня есть сайт расположенный на сервере. Если сервак падает, то он автоматически termination, а на его место создается новый, c параметрами launch configuration, но моих файлов и самого сайта там уже нет, т.к. сервер чистый встает. Что делать в таком случае?

[@ADV-IT]

В Launch Configuration User Data пропиши скрипт который при стерте нового сервера будет копировать твой сайт на сервер, например из S3.

[@lebem]

Вопрос??? Я правильно понял, если мой сайт на joomla и пользователь сохранил картинку на сервере, то при следующем обновлении он может быть отправлен на другой сервер где картинки нет???

[@ADV-IT]

Поэтому загружаемые картинки нельзя хранить на серверах, из нужно хранить в S3 bucket.

[@lebem]

@@ADV-IT Спасибо за ответ. Но в joomla не получится все фото и видео материалы настроить на S3 bucket, разные расширения и все такое. Не подскажешь тогда, как решить проблему с увеличением нагрузки на сервер. Возможно автоматически менять Instance type при увеличение нагрузки или может авто-клонировать текущий сервер под нагрузкой?? Или единственный вариант сразу переплачивать за мощный сервер?

[@ADV-IT]

Получится: extensions.joomla.org/extension/ja-amazon-s3/

[@joke62121]

Привет! а как быть с запущенным контейнерами ? как делать deploy на такие инстансы ? то есть для такого это не подходит ?

[@ADV-IT]

Для Контейнеров есть другой сервис ECS у меня есть уроки по нему

[@AntonioStudioOfficial]

Все совершенно поменялось и по сравнению с другими уроками здесь уже сложнее понять. МОжет есть возможность записать свежий урок? Спасибо! Auto Scaling group could not be created The InstanceRequirements in MixedInstancesPolicy.Overrides[0] does not match any instance type in the availability zones eu-central-1b, eu-central-1a, eu-central-1c

[@ADV-IT]

Пока нету возможности, 100 уроков переписывать каждый год. AWS меняют дезайн UI каждый год, а иногда полгода.

[@AntonioStudioOfficial]

@@ADV-IT понял, буду пробовать, просто если все до этого было легко понять на новом интерфейсе, то здесь прямо совсем все переработали...

[@MrGreatScorpion]

Добрый день. для чего нужен cooldown в Auto Scaling groups?

[@ADV-IT]

cooldown - это параметр, который вы можете настроить для Auto Scaling group, чтобы убедиться, что она не запускает и не завершает работу дополнительных ec2 до того, как вступит в силу предыдущее Scaling .

[@alexanderperoff4005]

кул

[@strazhnyk84]

Доброго дня, а підкажіть, як саме можна застопити інстанси, тобто не закілити, а застопити? (У мене якраз кейс, що є стейдж аккаунт, на якому для економії не потрібно, щоб 24/7 крутились інстанси, ну і кілити їх неохота, а вот стопнути на вечір в сам раз) Заздалегідь спасибі!

[@ADV-IT]

Instance Scheduler

[@strazhnyk84]

@@ADV-IT спасибі!

[@maliy_ct]

как в новом AWS найти "Scale group size" ? Или они переделали эту настройку?!

[@ADV-IT]

Да они UI меняют каждые 6 месяцев ,ищи там где-то

[@user-td3br7hc7v]

Привет, Денис. В Launch Configurations после создания всплывает такая ошибка "Something went wrong. Please refresh and try again." Моей конфигурации нет. И ничего сделать не могу. Я и Template создал, но когда в "Auto Scaling groups"его выбираешь из списка и нажимаешь кнопку Next, сайт говорит, что требуется выбрать Template, то есть как-будто он не видит мой шаблон...Что делать, не подскажешь?)

[@ADV-IT]

Может сохранить забыл ствой template? или он не сохранился

[@user-td3br7hc7v]

@@ADV-IT а ты не мог бы проверить сейчас. Работает ли у тебя? Попробовать собрать лаунч конфиг?!)

[@ADV-IT]

@@user-td3br7hc7v нет , некогда

[@user-fc4iv9xv1j]

Может ли автоскэйлинг быть средством защиты от Ddos атак?

[@ADV-IT]

И да и нет, это поможет конечно удержать сайт, но надо WAF использовать

[@dmitriisafronov7670]

А если упадет Availability zone с лоадбалансером?

[@ADV-IT]

Я тоже задавался этим вопросом. AWS говорит что наш ELB крутой и работает в нескольких AZ одновременно, так что он High Available но это если ты делаешь enable cross-zone!

[@ivanbyzov4022]

Добрый день, подскажите, а как использовать например для маркетплейса сайтов. как будут мои данные обновляться ,и сохранятся, тоесть люди там взяли сайт , как площадку , начали что то там настраивать , увеличилась нагрузка , сервер добавился, нагрузка ушла сервер тоже ушел , а данные пользователей как держать всегда в актуальности ?

[@ivanbyzov4022]

Как я думаю , нужно будет использовать , Amazon EBS volumes. И подключать их к серверам . тоесть , они постоянно будут запускать нужные контейнеры с сайтами. и писать данные на 1 volume

[@ADV-IT]

Информацию надо зранить не на WebServer, а на Database Server.

[@papampapam4748]

Теперь там всё по другому в интерфейсе, template еще создавать надо. Много непонятного. НО можно переключися на старый интерфейс.

[@ADV-IT]

не надо создавать template, там две опции: 1. Launch Template 2. Launch Configuration

[@vadym_t]

тут aws.amazon.com/blogs/compute/introducing-instance-refresh-for-ec2-auto-scaling/ - AWS подсуетился

[@Zvezd83]

Когда ввожу наш скрипт на IP в поле User data, тогда в конце LaunchConfigurations выдает такую ошибку: UserData does not appear to be base64. Если ничего не вводить, то все хорошо. Когда просто поднимаю инстанс с тем же скриптом, там то же все хорошо. Может сталкивался кто с этим?

[@ADV-IT]

Может какой-то невидимый символ у тебя в userdata ?

[@Zvezd83]

Действительно, что то есть в тексте, на глаз не вижу, а перепечатал и все заработало. Век живи век учись! :) Спасибо!

[@ADV-IT]

Рад что заработало :) так частенько бывает, когда делаешь Copy Paste

[@artemisha3048]

какой экз сдавать первым если solutions architect уже скоро retired?

[@ADV-IT]

Новый AWS Solutions Architect Associate экзамен, они их обновляют каждые 2-3 года

[@artemisha3048]

@@ADV-IT это может значить что в новом экзе будет меньше вопросов цирцулирующих в инете?

[@ADV-IT]

@@artemisha3048 Да

[@MaksimKovtun-gm4pd]

Сдали?

[@artemisha3048]

@@MaksimKovtun-gm4pd сдал

[@onemasterlomaster1829]

ДАВАЙ ВТОРУЮ ВЕТКУ КАК ГОТОВИШЬСЯ )

[@ADV-IT]

Не, я тут позже начну темы из DevOps разбирать, в особенности CloudFormation и ElasticBeanstalk