Django ORM. Оптимизация запросов к связанным моделям с помощью select_related и prefetch_related.

Частый вопрос на собеседованиях backend-разработчика.
Оптимизируйте запросы к базе данных Джанго проекта.
Хорошие ответы с примерами кода - в этом видео. Вы узнаете, как с помощью ORM писать эффективные SQL-запросы. Как их дебажить и сколько можно выиграть на хорошем запросе.
Код проекта для тренировки и обучения:
github.com/Cap...
джанго дебаг тулбар
django-debug-t...
Задача:
Провести оптимизацию запросов к базе данных во вью - функции item_detail
Идеями и радостью того, что получилось с решением можно делиться в комментариях.
Пару строчек кода, скорее всего, тоже будет норм (надеюсь, гугл не будет банить).
Всем спасибо за просмотр! Ставьте 👍 если Вам понравилось видео!
Нажимайте 🔔 чтобы видеть наши новые выпуски. За подписку - отдельная благодарность
🔔ПОДПИСЫВАЙТЕСЬ:🔔
🔗Вконтакте: CaptPronin
🔗Facebook: / proninc
#django #select_related #prefetch_related

[@ioannp.5274]

Андрей, не обижайтесь, но это видео - 100500е объяснение в стиле "посмотрите, вот сюда вставляем select_related, а сюда- prefetch_related и вместо 10 запросов у нас 1 или 2" . В чем ключевое отличие prefetch_related от select_related? Как они работают "под капотом"? Почему снова демонстрируется работа prefetch только для N:N ? В общем, если по select_related все относительно просто и понятно, то prefetch_related оставляет ощущение недосказанности, удивительно, что это касается 99% объяснительных статей про эти два метода.

[@AndyPronin]

Спасибо за фидбек. Я уже подумываю переписать это дело.

[@GOoD-vd5et]

Зачем вам видео, когда у Джанги есть документация. "Почему снова демонстрируется работа prefetch только для N:N ? " В этом вопросе подразумевается связь m2m? Может потому что prefetch_related используется для m2m, а select_related в связях OneToOne и Foreign, не? Что за претензии непонятные.

[@ioannp.5274]

@@GOoD-vd5et я уже не помню, что имел в виду, но скорее всего то, что джанго никак не запрещает использовать prefetch_related не только к m2m, но и к остальным типам связей. Думаю меня волновало, что происходит в этом случае и почему так делать нельзя или можно.

[@АлишерИвазов]

Чел сидит в кимоно?)))))

[@xewuss3750]

Безотносительно того, что у меня изначально показывает меньшее количество запросов. Самое простое - вместо "Item'" вставить уже оптимизированный querуset из первой функции.

[@st-tn5sk]

пока в 2 запроса и то не нравятся они мне item = get_object_or_404(Item.objects.select_related('category').prefetch_related('tags'), pk=item_pk) так же работает как и item = get_object_or_404(Item.objects.select_related('category'), pk=item_pk), отсюда вопрос - можно ли так совмещать селект и префетч? и главный вопрос, насколько я понял основная разница между селектом и префетчом - это в том что селект джоинит таблицы на уровне SQL запроса, а префетч на уровне python ?

[@GOoD-vd5et]

Да, префетч на уровне питона. Если сделать джойн с таблицей со связью m2m, то будет дублирование строк, поэтому через SQL это сделать нельзя. В любом случае получается 2 запроса, если хотим все поля. Вопрос в автору, зачем поставил такое задание, может сам не был уверен.

[@donpatron3631]

Спасибо за инфу о Джанго-Тул-Бар.

[@AndyPronin]

не перключайтесь. постараюсь подтягивать интересное

[@ПуляевГригорий]

Спасибо. Поржал.

[@yuriyokal7307]

Добрый день Андрей. А вы не думали сделать видео о том как можно сделать например чистую архитектуру на джанго? А то тонкие вьюхи и толстые модели так себе паттерн)) model -> (repository, specifications) -> use case -> interactor -> controller -> view. А так получается по вашему видео то для того что бы бизнес логику протестировать нужно http запрос делать) Какой смысл инфраструктуру в виде моделей и http смешивать с логикой?

[@МихаилГусев-э4с]

А нельзя все эти 3,4, 5 запросов взять и объединить в пакет и выполнить за один раз(современные скули такое позволяют)?

[@donfedor007]

Вчера столкнулся с этим! Загуглил Вы выложили) Спасибо Вам за урок!

[@AndyPronin]

Скоро ещё будет очень клёвый урок

[@УмарШирваниев-в7ь]

👍🏻👍🏻👍🏻

[@pashadem5820]

Решил так, но косяк в HttpResponseNotFound: try: item = Item.objects.all().select_related('category').prefetch_related('tags').get(pk=item_pk) except: return HttpResponseNotFound("No such element in the database")

[@AndyPronin]

ох. Прям сложно. Препишу-ка я это видео. Кажется, там сильно лучше можно всё.

[@dt_sevatarion]

640х480???

[@lx5.47lk2]

Топчик!!

[@AndyPronin]

На самом деле, нет. Мне за это видео очень стыдно. Запишу на канале от мидла и выше улучшенное и переоаботанное

[@notjik]

А в классах представления это вшито автоматически или нужно вручную настраивать?

[@СергейГоцин]

указывая 'values' мы получаем Queryset содержащий словарь, а когда 'values' Не указываем, то Queryset содержит объекты модели. И отсюда вылезают всякие трудности в дальнейшем. Как мне показалось 'values' при использовании prefetch_related нужно НЕ указывать, т.к. результат немного не тот...

[@katsuyorii]

Только что столкнулся с этим, когда хотел вытащить изображение из модели, посредством values, но он возвращал просто имя файла как я понял, без указания media пути.

[@СергейГоцин]

Благодарность спикеру , что он никуда не спешит. Спокойно, монотонно и все понятно. Это редкий случай когда я с первого раза посмотрел и во всем разобрался

[@oleg-petrov-diada]

Благодарю за видео, очень полезно!

[@ibrahimoglu]

Очень крутая тема, спасибо за стрим.

[@artouralty4658]

Подскажите, пожалуйста, на каком спринте вы проводили этот марафон?

[@AndyPronin]

Думаю, 4й

[@artouralty4658]

@@AndyPronin Обидно( Мы уже на 6-м, а про select_related и prefetch_related было только пару строк в теории

[@kostya2186]

Благодарен за труд, однако слишком душно... ни то ни се. никакой конкретики что, как и почему...

[@AndyPronin]

Спасибо за отзыв. Я планирую переписать ролик. Больше на запросы образщать внимание, а не на синатксис Джанго ОРМ.

[@tesmanit]

@@AndyPronin здравствуйте. Вы уже перезаписали видео? Если да, то как его можно найти?

[@AndyPronin]

@@tesmanit ещё нет. ( пока только для практикума уроки написал.

[@Viktor-g8g]

Спасибо за видео. Очень хочется более сложных примеров, что-то с использованием класса Prefetch, так же хотелось бы рассмотреть raw и RawSQL

[@AndyPronin]

Будет. Как раз готовлю материал

[@scad_]

Какой-то препод так себе... Будто говорит, сам не знает о чем. В документации джанго очень подробно и понятно описывается про select и prefetch. Что select_related делает select(казалось бы), а prefetch это дополнительный join. Очень легко объясняется на схеме связанных таблиц, что даже если человек не знаком raw запросами, поймёт о чем речь. Ну и залитый файл на гит бд просто топ:))

[@ioannp.5274]

Что есть "дополнительный джойн"? Не встречал такого термина.

[@scad_]

@@ioannp.5274 почитайте документацию, встретите

[@databox4279]

что не так с залитой бд на гит, если это СПЕЦИАЛЬНО СОЗДАННЫЙ УЧЕБНЫЙ ПРОЕКТ!!!??? Экономия времени на миграциях, добавлении объектов в базу, которая будет стерта один фиг удалена после выполнения урока.

[@scad_]

@@databox4279 причём тут залитый файл в репо в контексте миграций? В .gitignore добавление одной строчки *.db решает этот вопрос. Вы бы прежде чем вещать, попытались бы хотя бы соотнести то, что пытаетесь сказать. А то прочитанное выглядит как чушь

[@databox4279]

@@scad_ Вы вменяемый? Файл БД залит СПЕЦИАЛЬНО, что бы ученикам не пришлось создавать базу и наполнять её вручную. Это так сложно осознать?