S3 хранилище - Лучший способ хранить файлы на бэкенде | Как работать с S3 через Python

  Рет қаралды 56,608

Артём Шумейко

Артём Шумейко

Күн бұрын

Пікірлер: 172
@artemshumeiko
@artemshumeiko 5 ай бұрын
Приглашаю на мой Практический курс по Backend разработке по всем актуальным технологиям: artemshumeiko.ru
@vryaboshapko
@vryaboshapko 5 ай бұрын
7:17 когда говорят о загрузке на S3, почему-то редко вспоминают такую штуку, как подписанные URL-ы. Суть в том, что бекенд с помощью своих секретов от S3 подписывает специально сформированный URL, отдаёт его фронтенду, а фронт уже сам туда заливает нужный файл. Это экономит ресурсы бекенда и время пользователя. При этом у подписи есть срок жизнь (до семи дней), то есть, URL сам отключается и не даёт заменить данные. Плюс можно ограничить размер заливаемого файла, чтобы особо ушлые пользователи не слили весь ваш бюджет на хранение. Плюс в тот же URL можно зашивать кастомные теги, которые будут проставлены на файл после заливки (и пользователь не сможет их подменить, потому что они защищиены подписью). В общем, очень недооценённая функциональность.
@gayratsaidakhmedov5451
@gayratsaidakhmedov5451 5 ай бұрын
Артём спасибо вам за разбор темы! Мысли в слух: S3 и приватные данные - не совместимые понятия))) Как только мы загружаем приватные данные во внешнее хранилище которое мы не контролируем - они перестают быть приватными)))
@__username__
@__username__ 5 ай бұрын
GPG и его папа PGP передают привет. Бэкапы и приватную инфу нормальные (в лучшем смысле этого слова) люди льют в зашифрованном виде. А ещё эти нормальные люди почту шифруют и не удивляются новостям, что (внезапно) эти сервисы (естественно, бездушными роботами) читают почту пользователей.
@kirshkro
@kirshkro 5 ай бұрын
Всегда удивлялся людям, которые топят за облачные сервисы.
@АлексейСимонов-ц4р
@АлексейСимонов-ц4р 5 ай бұрын
@@__username__ Ага, люди в пагонах передают пламенный привет всем, кто использует не сертифицированные СКЗИ )
@__username__
@__username__ 5 ай бұрын
@@АлексейСимонов-ц4р Да пусть хоть запередаются. Если вы не входите в КИИ, то вам эти СКЗИ до ПЗД.
@__username__
@__username__ 5 ай бұрын
@@kirshkro Облачные сервисы - это хорошо. Но если это использовать аккуратно и не доводить ситуацию до вендорозависимости.
@andrewbondaryuk
@andrewbondaryuk 5 ай бұрын
2:10 Ага. Да хоть в 10 - Гугл тут недавно взял и потёр все копии крупнейшего пенсионного фонда Автралии. Хорошо там были бэкапы НЕ в гугле :)
@artemshumeiko
@artemshumeiko 5 ай бұрын
прочитал - грустная история :(
@andrewbondaryuk
@andrewbondaryuk 5 ай бұрын
@@artemshumeiko Поэтому лучший девопс - девопс параноик! :)
@saitaro
@saitaro 5 ай бұрын
Это всё же человеческий фактор был, от него, увы, никто не застрахован!
@valery-m-
@valery-m- 5 ай бұрын
@@saitaro- да-да, именно везде человеческий фактор… ну что поделаешь: живём среди людей)
@set1qs
@set1qs 5 ай бұрын
Ну вот! Умеешь могешь! Вот за такие ролики я и обожаю этот канал )
@ДаниилНиколаевич-д2ю
@ДаниилНиколаевич-д2ю 4 ай бұрын
За какие? Рекламные? Кроме рекламы тут ничего нет. Такой код и гпт напишет, да и вероятно на стаковерфлоу есть)))
@digitalberd
@digitalberd 5 ай бұрын
На мой взгляд, хранилища типа S3 отлично подходят, например для того, чтобы фотографии пользователей хранить - или любых других ФАЙЛОВ, которые не жалко потерять и для которых не хватает места на основных серверах. А основную БД лучше держать на выделенном сервере (а вот бекапы уже выгружать в холодное хранилище - отличный вариант!)
@eyeeeeer
@eyeeeeer 5 ай бұрын
А почему вдруг фотографии пользователя это данные которые не жаль потерять? Клиент вам спасибо за такое точно не скажет...
@musicits_fun
@musicits_fun 5 ай бұрын
Использую google storage внутри firebase. Храним гигабайты данных на нашем видео в хостинге внутри нашей музыкальной школы. Но самое главное, это не только дешево, а еще и доступ к любому файлу можно завязать с авторизацией😊
@01011968Desgner
@01011968Desgner 4 ай бұрын
Хых! Про приватные данные - это сильно! ))) Сильно палевно!)))
@TAF3000
@TAF3000 6 ай бұрын
Отличное вводное видео! пара вопросов, как тестировать работу с s3 моками? и как например защищаться от каких нибудь ддос атак, что бы нам все деньги не скушали? и будет ли продолжение?
@sasichkamega
@sasichkamega 5 ай бұрын
Гуглится на первой строчке
@barmalejZ
@barmalejZ 15 күн бұрын
Интересный мини-гайд. Понятно, что Selectel тут явялется рекламодателем. Но! Не одним Selectel'ом един рунет. Подскажите, на какие факторы стоит обращать при выборе объектного хранилища S3, если, к примеру, оно будет организовано под размещение на нем картинок видосов и документов со средней частотой скачивания (т.е. средние показатели). Если, к примеру, рассматривать из гигантов: Яндекс, Сбер, VK, Selectel. В целом у них по возможностьям и цене все более-менее одинаково. И вот интересно, может есть какие нюансы на которые стоит обратить внимание?
@user_name9209
@user_name9209 5 ай бұрын
Для бэкапа можно использать rclone и не нужно писать никакого кода, нужно только настроить подключение и запускать команду rclone по расписани.
@DmitryPonomareF
@DmitryPonomareF 5 ай бұрын
Нравятся твои видео, да и "Самокат" тоже. Лайк, положительный комментарий, все дела:)
@artemshumeiko
@artemshumeiko 5 ай бұрын
спасибо!
@the_huge_knight
@the_huge_knight 5 ай бұрын
Не показано как динамически получить ссылку на файл (через бэкэнд, а не Ctrl+C & Ctrl+V). Если уж делать страничку, то делать с загрузкой файла через фронтенд. Владельцы сервиса могут сливать приватные данные, это тоже нужно учитывать.
@MrCheater121
@MrCheater121 5 ай бұрын
Ну это круто, спасибо!) как в кассу вышел видос с тем, что мне в моем проекте надо сделать s3))) оп оп и готово
@АртурДуйшеев
@АртурДуйшеев 5 ай бұрын
Жду с нетерпением разбора!
@drkovalex
@drkovalex 5 ай бұрын
По опыту, в хорошей СУБД вообще никаких проблем с хранением файлов нет. На примере того же MS SQL Server, даже не обязательно FILESTREAM мутить. 70 ГБ прекрасно работало без падения производительности на HDD. На SSD теперь это и подавно не актуально. Если есть беспокойство за таблицы, просто выносите в отдельную а-ля словарь или типа того и в отдельный MDF размещайте. S3 это интересно, но считайте деньги и >реальную< целесообразность.
@Mikluxa.Maklai
@Mikluxa.Maklai 5 ай бұрын
70 Gb - это смешной размер базы просто, вот у вас там поэтому что-то и работает. У нас центральный даталейк на постгрюхе 40+ Tb, а в S3 вообще сотни... На MS SQL построено несколько DWH 1-3Tb каждая. Как только у вас файлов будет приличное кол-во, никакой filestream вас не спасет, а использование блобов для хранения файлов в реляционной базе вообще антипатерн.
@drkovalex
@drkovalex 5 ай бұрын
@@Mikluxa.Maklai так, о том и речь! Если у вас уже серьезный большой размер базы данных всё это имеет смысл, а если у вас до 500 ГБ и/или малое количество запросов, то смысла не имеет морочиться с этими облачными хранилищами, разве только если хотите потратить деньги. Никаких антипаттернов - база данных для того и есть, чтобы в ней хранить данные и обеспечивать их ЦЕЛОСТНОСТЬ (важно), реляционная она или ещё какая - это просто модель.
@user-bn4kd
@user-bn4kd 5 ай бұрын
Надо было на пару дней раньше залить и отправить в сдек
@tuobraun
@tuobraun 5 ай бұрын
Ну не приучайте пользователей хранить секртные ключи в таком виде же!
@artemshumeiko
@artemshumeiko 5 ай бұрын
я не хочу записывать часовые видосы
@davidsaidov8308
@davidsaidov8308 5 ай бұрын
Неужели тот, кто пришёл смотреть как прикрутить S3, не знает, как правильно хранить ключи?)
@CTPEJIKuH
@CTPEJIKuH 5 ай бұрын
@@artemshumeiko не думаю, что видео станет часовым, если ты покажешь как не хардкодить ключи в код.
@mr.shanazar5160
@mr.shanazar5160 5 ай бұрын
​@@CTPEJIKuH Не будь душнилой
@chgfxghjjkllll
@chgfxghjjkllll 5 ай бұрын
@@CTPEJIKuHзапиши ролик и узнаем
@IvIDoctor_ManhattanIvI
@IvIDoctor_ManhattanIvI 5 ай бұрын
Запомните!!! Хоть Z7. Свои Данные хранить у Дяди сема супер небезопасно.😎☝️
@afgavrilov
@afgavrilov 4 ай бұрын
Тебя свои же быстрее посадят , чем «дядя сема»
@АлексКалашников-у6н
@АлексКалашников-у6н 4 ай бұрын
Ты прямо Бог!
@grajdaninrossii9269
@grajdaninrossii9269 5 ай бұрын
Привет! Нравится смотреть твои видео, хорошая подача материала. Сам сейчас работаю backend Java разработчиком, начинал с python fast API. Здорово, что ты подсвечивает технологии, которые независимы от языка. Также хочу предложить идею рассказать про распределенные транзакции, саги и тому подобное, поскольку грамотное построение межсервисного взаимодействия мало подсвечено на ютубе. Тема скорее уже ближе к мидлу условному, однако базовые моменты был бы рад увидеть в твоём видео.
@vpr-
@vpr- 5 ай бұрын
Еще бы вкратце про ролевую модель рассказал, вообще огонь было бы)
@АртурЛагунов-ч6ъ
@АртурЛагунов-ч6ъ 3 ай бұрын
а я правильно понимаю что async with self.session.create_client ... yield client это на каждый вызов метода upload_file открытие (закрытие) tcp соединения со всеми накладными расходами?
@max31os
@max31os 5 ай бұрын
Как же ты вовремя, лайк
@Yetishkin_Pistolet
@Yetishkin_Pistolet 4 ай бұрын
Видос супер. Спасибо ! Но микрофон чуть подальше, а то такое ощущение, что ты на ушко шепчешь
@Сергей-ф2ъ7я
@Сергей-ф2ъ7я 5 ай бұрын
а что думаешь насчет шифрования чувствительных данных перед отправкой на S3? нужно/не нужно?
@itheandrey
@itheandrey 5 ай бұрын
Никогда не будет лишним. Тут вопрос доверия к провайдеру хранилища.
@Даниил-ш1д2ю
@Даниил-ш1д2ю 5 ай бұрын
Я сейчас пишу сервис кое какой в тг, пока не знаю как мне может пригодится это видео, но на всякий случай закинул в папку с тестами))
@tolb1517
@tolb1517 5 ай бұрын
Супер, молодец.
@drkovalex
@drkovalex 5 ай бұрын
Как обеспечить целостность данных при бэкапе БД на связке БД + S3?
@dgdarkking266
@dgdarkking266 23 күн бұрын
что за плагин для автодополнения, похож на IntelliSense вски, давно такое ищу
@compchat4575
@compchat4575 22 күн бұрын
Привет! Я правильно понимаю, что облачное хранилище Google Drive не подойдёт для хранения файлов в нём? Я вижу, что Selectel генерирует рандомные URL адреса до объектов. А в Google Drive ссылки на файлы генерируется на основе ID файлов. Теоретически можно перебрать все адреса и получить доступ к файлам юзера, если доступ по ссылке. Если сделать доступ только по отдельным email, то надо всегда заставлять пользователя отдельно регистрироваться в Google, чтобы видеть картинки (даже публичные, которые хранятся на этом же облаке), а такой юзер-экспириенс явно не очень...
@AS-fk5fw
@AS-fk5fw 5 ай бұрын
За год в финтехе технически получил миддла, но если честно понимаю, что торопился. Твои видео как глоток воздуха) спокойно применяю на пет проекте с пользователями 100+ сотрудников, переписываю то что писал еще стажёром 😁
@antigame99
@antigame99 5 ай бұрын
О, реклама селектел подъехала =)
@saintkredo7673
@saintkredo7673 4 ай бұрын
ага качественым программистам реклама не нужна)) и тем более писать какие-то курсы..
@r35p3ct00
@r35p3ct00 5 ай бұрын
Флешбеки из конца 90х, платный траффик 😮
@nik_lifehacks
@nik_lifehacks 5 ай бұрын
Привет, круто, спасибо s3 хранилище действительно очень актуально на рынке, и нужно знать не только разработчикам и архитекторам, но и другим специалистам (аналитикам, тестировщикам, девопсам). Хорошо бы еще увидеть как можно с этим работать, на примере какой ни будь тривиальной задачи, например хранение фотографии профиля пользователя (на фронте загрузили, на бэкенде сохранили в s3, получили ссылку на этот файл в хранилище, сохранили ее в связке с пользователем и потом отображаем фото по ссылке из s3).
@captainkryuk1899
@captainkryuk1899 5 ай бұрын
вот тебе и проект, чтобы потренироваться
@serega25k19
@serega25k19 4 ай бұрын
Всем привет, а есть программы под винду чтоб был доступ к S3 хранилищу?
@andrewbondaryuk
@andrewbondaryuk 5 ай бұрын
Для тестовой локальной работы с s3 хранилищем есть смысл использовать minio - чтобы трафик не оплачивать.
@artemshumeiko
@artemshumeiko 5 ай бұрын
все так, но 100 рублей как будто не деньги :) учитывая, что не придется париться с развертыванием
@Alex111dr
@Alex111dr 5 ай бұрын
У меня возникала ошибка SSL: CERTIFICATE_VERIFY_FAILED, после установки пакета "certifi", ошибка пропала
@AlexanderzZ-hb8nk
@AlexanderzZ-hb8nk 5 ай бұрын
Только почему ты в асинхронную функцию засовываешь синхронную с открытием файла
@fixcay7129
@fixcay7129 5 ай бұрын
Как насчёт ipfs?
@hamidaxtamov1
@hamidaxtamov1 5 ай бұрын
Спасибо за оочень качественный контент! 🔥
@Y84-q5e
@Y84-q5e 5 ай бұрын
Стал умнее, узнал много новых русских слов. Больше понравилось "чанки")))
@boole_cat
@boole_cat 5 ай бұрын
У меня коллега так называла контейнер для еды.
@Сергей-ф2ъ7я
@Сергей-ф2ъ7я 5 ай бұрын
спасибо, выглядит просто и понятно! будем пробовать селектел
@fedordostoevskiy4209
@fedordostoevskiy4209 5 ай бұрын
Разве можно найти работу сейчас, зная только fastApi, или как конфиг s3 заполнить? Хотя может и можно, некоторые кроме reactJs ничего не знают, и работают же.
@trimo1120
@trimo1120 4 ай бұрын
Какой python? Если есть C..
@vadimv1501
@vadimv1501 5 ай бұрын
Только неделю назад подключат s3 от яндекса к джанге. Жаль это видео вышло только сейчас. До этого была проблема вообще понять как файлы то хранить
@andreyzhukov9134
@andreyzhukov9134 4 ай бұрын
Добрый день! Хорошее видео, но тег для img ( 17:30 ) пишется без знака `/`
@topevgn5914
@topevgn5914 5 ай бұрын
Центр защиты персональных данных плачет в стороне при виде S3
@artemshumeiko
@artemshumeiko 5 ай бұрын
ну хз, все подобные хранилища соответствуют 152-ФЗ
@artemshumeiko
@artemshumeiko 5 ай бұрын
я работаю в Самокате и мы активно юзаем S3 Селектела, поэтому считаю, что все норм с S3 хранилищами p.s. на прошлой работе тоже юзали S3 крупного российского провайдера
@topevgn5914
@topevgn5914 5 ай бұрын
​@@artemshumeiko все верно оно соответствует требованиям, но при построении информационной системы безопасности в компании тянет за собой много дорогостоящих нюансов
@xesax
@xesax 5 ай бұрын
Можете подсказать, как решить ошибку? raise SSLError(endpoint_url=request.url, error=e) botocore.exceptions.SSLError: SSL validation
@DivisioInvestigates
@DivisioInvestigates 5 ай бұрын
Такая же ошибка
@artemshumeiko
@artemshumeiko 5 ай бұрын
попробуйте указать verify=False внутри функции create_client, либо расширив self.config ключом "verify": False
@aleksandrkrasovski7800
@aleksandrkrasovski7800 4 ай бұрын
@@artemshumeiko работает "verify": False
@FirstLast-zs6dq
@FirstLast-zs6dq 5 ай бұрын
Обычно провайдер предоставляет доступ на запись по с3, а чтение - через хттп. Вся сидиэнка там. Поэтому приложению не нужно подключаться по с3, выкладКа через файловый менеджер
@vryaboshapko
@vryaboshapko 5 ай бұрын
Это если речь про статику. А пользовательский контент (или сгенерированный специально для пользователя) надо всё-таки через S3 заливать.
@iiksh1238
@iiksh1238 5 ай бұрын
Где купить это хранилище, именно через Амазон сервисы? (В России)
@vryaboshapko
@vryaboshapko 5 ай бұрын
Если под «в России» вы имеете в виду, что нужно хранение на территории России, то никак, у Амазона нет дата-центров в России. Посмотрите на любой российский вариант, сходу могу вспомнить Яндекс, Selectel, Timeweb. С точки зрения кода и архитектуры разница близка к нулю. А если имеется ввиду оплата из России (а хранение в Европе или где-то ещё), то можно попробовать завести карту в банке Армении или Казахстана.
@zoyaa9759
@zoyaa9759 5 ай бұрын
Отлично показано, наглядно!
@ПавелВеткин-о6щ
@ПавелВеткин-о6щ 5 ай бұрын
Это что за 1 терабайт мне каждый месяц платить по 2500 рублей ? Так я могу просто купить себе диск, и поставить MinIO.
@artemshumeiko
@artemshumeiko 5 ай бұрын
скиньте плиз где купить терабайт жесткого диска. Без шуток, мне казалось, это дорогое удовольствие сравнимое с s3
@Al_K_WIW
@Al_K_WIW 4 ай бұрын
@@artemshumeiko я покупал два диска по 8 Тб, по 5000 тыщ каждый, и пользуюсь уже 4 года, прикинь, сколько денег бы ушло на ежемесячные платежи (дофига)
@AlexandrKalinovsky
@AlexandrKalinovsky 5 ай бұрын
Отличный материал бро! Удивился почему у меня не был ыключен колокольчик на тебя. Исправил это упущение
@artemshumeiko
@artemshumeiko 5 ай бұрын
❤️‍🔥
@logprogrammista
@logprogrammista 5 ай бұрын
Какой микрофон у тебя Артем
@itheandrey
@itheandrey 5 ай бұрын
Хранилище и хранилище. Как показывает опыт, никто лучше кроме вас не позаботиться о сохранности данных. У всех рано или поздно бывают факапы и за те копейки что стоит хранилище, никто ничего не восстановит. S3 увы, это никакая не волшебная палочка-выручалочка.
@artemshumeiko
@artemshumeiko 5 ай бұрын
а вы что стали бы использовать?
@itheandrey
@itheandrey 5 ай бұрын
@@artemshumeiko для начала локально хранить можно. Необходимость в сетевом хранилище возникает как только приложение начинает реплицироваться на несколько серверов, чтобы сделать его единым для всех. Вместо S3 может использоваться сетевой диск. В целом остаётся открытым вопрос резервного копирования содержимого такого хранилища.
@gasirovka
@gasirovka 5 ай бұрын
А есть локальные s3 хранилища? Тип хранить всё на своей машине
@alexanderalex5522
@alexanderalex5522 5 ай бұрын
Есть популярная opensource реализация - Minio
@RubySirius
@RubySirius 5 ай бұрын
какой ИИ помощник используешь в IDE?
@artemshumeiko
@artemshumeiko 5 ай бұрын
никакой это PyCharm Professional
@the_huge_knight
@the_huge_knight 5 ай бұрын
Это copilot, встроенный в IDE.
@newborn4231
@newborn4231 5 ай бұрын
Спасибо за информацию, похоже на то же самое облако диски, только возможности поинтереснее, только вот паспортные данные я бы побоялся там хранить и прочею конфиденциальную информацию, сломают селектейл и все данные утекут, а для хранения личных данных отвечает компания которая продает услуги и берет эти данные под свою ответственность.
@artemshumeiko
@artemshumeiko 5 ай бұрын
а где компании хранить такие данные? свое s3 хранилище поднимать, бэкапить и поддерживать? звучит как куча денег впустую
@newborn4231
@newborn4231 5 ай бұрын
@@artemshumeiko а какой ещё выход? Допустим те же банки хранят всё данные у себя на серверах, и имеют сертификацию PCI dss, и те же самые паспортные данные, когда их отправляют на s3 по факту нарушают закон о передачи данных 3лицам, если это не прописано в договоре оказания услуг, тут одно из двух такие данные всё же хранить у себя или иметь нужный договор оказания услуг, и то и то дорого может обойтись
@artemshumeiko
@artemshumeiko 5 ай бұрын
так все s3 соответствуют 152 фз если данные утекут, виноват провайдер
@vryaboshapko
@vryaboshapko 5 ай бұрын
Что-то я не помню, чтобы хоть кто-то понёс реальное наказание за утечку персональных данных пользователей. У того же СДЕК-а уже как минимум второй раз крадут данные, и что-то тихо всё. Но вообще можно подумать над end-to-end шифрованием: шифруешь файл на своём бекенде, на S3 загружаешь шифрованный файл. При необходимости скачиваешь и расшифровываешь тоже у себя на бекенде. Детали зависят от условий задачи.
@HOOKAH10
@HOOKAH10 5 ай бұрын
Спасибо
@ganabop
@ganabop 5 ай бұрын
А если с java работаю то там тоже любая библиотека для amazon будет работать с selectel или timeweb cloud например?
@ruden6623
@ruden6623 5 ай бұрын
Да, у них протокол работы один и тот же - S3
@RubySirius
@RubySirius 5 ай бұрын
а что будет с курсом по fasapi после мая? планируется ли его обновление?
@artemshumeiko
@artemshumeiko 5 ай бұрын
после мая курс будет недоступен для продажи никогда, то есть не будет такого, что через несколько месяцев я вернусь с обновленной версией текущего курса
@Syberby
@Syberby 5 ай бұрын
@@artemshumeiko а если знаешь только джанго с его DRF, то работы тоже хватает?
@vadimgera9869
@vadimgera9869 5 ай бұрын
А есть возможность через API подгружать с файлами доп.информацию, типа теги, описание и прочие и соответственно потом выкачивать из хранилища файлы по своим критериям?
@ruden6623
@ruden6623 5 ай бұрын
Так локально в базе сохраняй название файла и данные о нём, а потом в базе ищешь по критериям и подгружаешь из хранилища по названию
@vryaboshapko
@vryaboshapko 5 ай бұрын
Навесить теги можно, но поиска по ним нет. Можно только получить информацию о файле, а в ней теги. Так что да, если нужен поиск, то хранить у себя в базе ссылки и всю нужную мета-информацию.
@Syberby
@Syberby 5 ай бұрын
А какой вариант приватности выбирать для голосовых сообщений? На сайте есть чат с голосовыми сообщениями. Для фоток публичный окей, а как быть с голосовыми? Они тоже пока что на публичном и для имени генерится uuid, и методом перебора ссылку фиг получить, но все же. Для приватного как получать всегда ссылку? Чтобы получать ссылку на аудио только через бек ?
@artemshumeiko
@artemshumeiko 5 ай бұрын
да, получать ссылку только через бэк
@maximax2024
@maximax2024 5 ай бұрын
Можешь подсказать, как получать на бэкенде ссылку на файл при загрузке в приватный бакет?
@minimalstory
@minimalstory 5 ай бұрын
Ага, облака)) облака надежды и вечные, поверьте свои данные третьим лицам)) если работаете над чем то серьезным то ничего не должно покидать ваш контур. Баловство все это, если не хуже.
@AlexAlex-jk2tn
@AlexAlex-jk2tn 4 ай бұрын
Не понял, какое отношение имеет этот s3 к чанковой загрузке видео, я же могу любую ссылку на видео вставить и оно тоже будет чанками грузиться, это вообще ответственность браузера и как он интерпретирует HTML, к вашему примеру это не имеет никакого отношения. Ну и по поводу хранилища, я тоже не понял, чем оно лучше обычного http протокола? сайт то тоже хранится на каком-то сервере, с бэкапами, к страницам настроены права доступа и т.п. В общем ни о чём, как по мне...
@Chel1k7
@Chel1k7 5 ай бұрын
Расскажи про miniio
@maximax2024
@maximax2024 5 ай бұрын
Спасибо! А как получить ссылку на загруженный файл, чтобы сохранить себе в базу?
@artemshumeiko
@artemshumeiko 5 ай бұрын
по сути это не нужно делать, достаточно хранить название файла, например, мы храним картинку кота в S3 по адресу /img/cat.jpg -> достаточно хранить только этот адрес. А сам домен, по которому живут картинки, у нас находится всегда в переменных окружения, и мы просто подставляем его и приклеиваем адрес картинки
@Syberby
@Syberby 5 ай бұрын
@@artemshumeiko неделю назад как раз подрубил s3 от timeweb. долго ломал голову как же получить ссылку на файл после загрузки. В итоге тупо стал хранить название файла в бд и строить ссылку s3_link/file_name. сейчас вижу что это правильное решение)
@maximax2024
@maximax2024 5 ай бұрын
@@artemshumeikoАртем, спасибо, если можно, уточняющий вопрос еще. Я, загрузив файл в S3-хранилище, хочу затем пульнуть его в тг-канал как ссылку. Как мне сформировать эту ссылку, из какой переменной окружения взять первую часть url? И обязательно ли для этого бакет должен быть публичным?
@kivy0612
@kivy0612 5 ай бұрын
Может кто знает, можно ли в label studio подключить S3 не от amazon? В настройках именно написано AWS S3
@AlexandrMeshkov-k6l
@AlexandrMeshkov-k6l 5 ай бұрын
Можно. Тебе подойдет любой провайдер S3. Так как при настройке ты просто указываешь ключи доступа, endpoint url, и регион. Всю эту информацию ты можешь получить от своего провайдера. И это будет работать так как API совместимы между собой. В документации label studio написано как подключать (сразу можешь перейти к подключению, а не настройке S3 бакета)
@kivy0612
@kivy0612 5 ай бұрын
@@AlexandrMeshkov-k6l Спасибо за ответ
@XaKern
@XaKern 4 ай бұрын
Так а чем отличается S3 от облачного хранилища? Зачем было называть другим названием?
@паукшнюк-г8ъ
@паукшнюк-г8ъ 5 ай бұрын
разве если бд не на своем сервере, не будут ли задержки большие в запросах?
@artemshumeiko
@artemshumeiko 5 ай бұрын
будут конечно, но хранить в базе файлы -- такое себе занятие. Нужно руками настраивать бэкапы отдельно файлов, отдельно данных в базе, настраивать шардирование, т.к. база не резиновая явно, а файлы много места занимают, выстраивать доступы до конкретных файлов, настраивать cdn для быстрой отдачи файлов по миру. Представьте, что нужно хранить паспортные данные, фото котиков, аватарки, сканы документов и доступ до всех файлов нужно выдавать конкретной команде/департаменту. Так еще чтобы можно было удобно в веб-панели ими управлять.. Вот тут и приходит на помощь S3 :)
@паукшнюк-г8ъ
@паукшнюк-г8ъ 5 ай бұрын
@@artemshumeiko ну это да, просто насколько я знаю все стремятся задержки как можно больше сокращать, а такое обращение к внешним ьд помешает этому, а так спасибо!
@shetiashcroft
@shetiashcroft 5 ай бұрын
никогда не храните файлы в БД. БД не для того придумана
@паукшнюк-г8ъ
@паукшнюк-г8ъ 5 ай бұрын
@@shetiashcroft а где хранят файлы? даже интересно стало
@shetiashcroft
@shetiashcroft 5 ай бұрын
@@паукшнюк-г8ъ на диске ну и S3 никто не отменял
@inethak
@inethak 5 ай бұрын
хайп? хабр? на днях один инженер жаловался на поддержку selectel по s3. судя по тексту, челу не положили батареек в комплект, и его бэкапы распухли
@sergeysemenov3674
@sergeysemenov3674 5 ай бұрын
Лучше локального рейда еще ничего не придумали)
@YtArslan
@YtArslan 5 ай бұрын
что за тема в PyCharm
@mark-n5x8w
@mark-n5x8w 3 ай бұрын
default
@atvlive9340
@atvlive9340 5 ай бұрын
Добра , подойдет ли S3 для доски объявлений(типо авито,юла)?
@artemshumeiko
@artemshumeiko 5 ай бұрын
да, конечно
@doloto111pro3
@doloto111pro3 5 ай бұрын
У меня в компе 4 диска, файлы хранятся зеркально на всех. Если у тебя 10гб хранилище, то проще хранить, как у меня. Вот если большие объемы то там уже надо думать.
@andviktor
@andviktor 5 ай бұрын
10гб проще хранить в голове :)
@vryaboshapko
@vryaboshapko 5 ай бұрын
Вопрос хранения - это всегда вопрос баланса между стоимостью и допустимыми рисками) RAID массив спасёт от отказа одного из дисков, но не спасёт от пожара, наводнения и других физических угроз серверу. Облачное хранение покрывает эти риски, но добавляет другие, вроде разорения твоего провайдера или санкций. Эти риски покрываются использованием нескольких облаков. В общем, всё зависит от того, какие данные нужно хранить.
@NikK0lay
@NikK0lay 3 ай бұрын
Для чего нужен этот Пайтон? Ну серьёзно. Для фронта и бэка есть JavaScript. Для обработки высокопроизводительной си .
@artemshumeiko
@artemshumeiko 3 ай бұрын
Дружище не заходи на этот канал больше
@ИванРусский-с1я
@ИванРусский-с1я 5 ай бұрын
Зачем это, если всё можно хранить на своём ПК? Купить отдельный диск, или два, если очень хочется.
@artemshumeiko
@artemshumeiko 5 ай бұрын
речь про создание проекта, который работает 24/7
@SetMafia
@SetMafia 5 ай бұрын
Если смысл хранить на s3 личные фотографии вместо купленного места, например на том же яДиск?
@artemshumeiko
@artemshumeiko 5 ай бұрын
не имеет, как пользователю удобнее использовать ядиск, мэил облако и т.п. если говорим про работу с файлами через api, то s3 удобнее
@ЮрийЛисицын-ы8д
@ЮрийЛисицын-ы8д 5 ай бұрын
Да! Технически всё красиво и может работать! Но для бизнеса это ж... 😅
@madi-s
@madi-s 5 ай бұрын
На сервере такие аплоуды в таски наверное имеет смысл закидывать
@Alex.Shalda
@Alex.Shalda 5 ай бұрын
Разве можно хранить персональные данные россиян на s3?
@artemshumeiko
@artemshumeiko 5 ай бұрын
да, все хранилища соответствуют 152 ФЗ о персональных данных
@user-ov8uo9fy1v
@user-ov8uo9fy1v 5 ай бұрын
Хранить можно что угодно, но большие компании в 99,9999998% не дадут использовать ничего кроме своих серверов
@pom001
@pom001 5 ай бұрын
Санкции не позволят обновить жесткие диски на s3 и данные нельзя будет восстановить.
@artemshumeiko
@artemshumeiko 5 ай бұрын
чего?)
@pom001
@pom001 5 ай бұрын
@@artemshumeiko я про отечественные сервисы
@vryaboshapko
@vryaboshapko 5 ай бұрын
@@pom001 контрабанду никто не отменял) Сервисы останутся, просто в какой-то момент цена начнёт расти.
@iiepe1915
@iiepe1915 4 ай бұрын
Прикол в том, что эти данные будут доступны selectel поэтому это нифига не безопасно, если их сломают, то и все хранилища будут сломаны... Само видео интересное и хранилище классное, интересно а как самому такое создать...
@kirishibiz
@kirishibiz 3 ай бұрын
не грузит видео больше копируйте все в рутюб
What type of pedestrian are you?😄 #tiktok #elsarca
00:28
Elsa Arca
Рет қаралды 29 МЛН
World’s strongest WOMAN vs regular GIRLS
00:56
A4
Рет қаралды 47 МЛН
They Chose Kindness Over Abuse in Their Team #shorts
00:20
I migliori trucchetti di Fabiosa
Рет қаралды 12 МЛН
Can You Find Hulk's True Love? Real vs Fake Girlfriend Challenge | Roblox 3D
00:24
JWT авторизация. Основы JWT - механизма.
6:45
Хочу вАйти
Рет қаралды 17 М.
Внутри S3
31:08
Yandex Cloud
Рет қаралды 5 М.
CI/CD - Простым языком на понятном примере
15:29
Артём Шумейко
Рет қаралды 110 М.
What type of pedestrian are you?😄 #tiktok #elsarca
00:28
Elsa Arca
Рет қаралды 29 МЛН