Никита Летов - Используем @Transactional like a Pro

Ближайшая конференция - Joker 2024, 9 октября (Online), 15-16 октября (Санкт-Петербург + трансляция).
Подробности и билеты: jrg.su/Ypf1HW
- -
Поговорим о том, как не ошибиться при использовании аннотации @Transactional в коде, как не бояться блокировок на БД и сохранить консистентность ваших данных при их динамическом обновлении.
Доклад посвящен использованию транзакций и блокировок при обработке данных БД в условиях асинхронных вызовов высоконагруженного приложения. Будет немного лайвкодинга: спикер покажет возможные ошибки и нюансы использования тех или иных технологий. Стек: Java, Spring Data JPA, Kafka. Иногда разработчики не задумываются, в какой момент транзакция нужна , а в какой нет, когда нужно открыть новую, а когда продолжить текущую. Какие блокировки на БД будут происходить во время выполнения транзакции и как не перегрузить БД очередью из row lock, где использовать таймауты запросов. И как обойтись без блокировки на БД.Целевая аудитория: рядовые бэкенд-разработчики, так как большинство сервисов в той или иной мере работает с динамически обновляемыми данными.
Скачать презентацию: squidex.jugru.team/api/assets...

[@mouviem7951]

Круто что доклад затрагивает локи, изоляции и т д. Спасибо!

[@user-on5qq7fe8v]

54:10 - "произошел deadlock". Строго говоря, на уровне базы данных, да и по определению - deadlock-а здесь нет. Deadlock подразумевает, что заблокированы обе транзакции. А у нас здесь заблокирована только вторая транзакция. Первая - просто простаивает. Tx1 выполнила "select where id = 1 for update" и заблокировала строку. Сама транзакция не ждет в очереди ожидания на блокировку. Она ей владеет. Но дальше в коде мы СИНХРОННО стартуем вторую транзакцию Tx2. Tx2 тоже делает "select where id = 1 for update", и вот она встает в очередь на ожидание блокировки. Tx2 заблокирована, а Tx1 - нет. Она просто не может выполняться из-за криво написанного кода. По поведению - да, это похоже на дедлок. Но это ХУЖЕ чем дедлок. Дело в том, что для реального дедлока нужно как минимум две транзакции и как минимум два ресурса (две строки). Tx1: UPDATE accounts set amount = amount + 100.0 where id = 2; UPDATE accounts set amount = amount + 100.0 where id = 1; Tx2: UPDATE accounts set amount = amount + 100.0 where id = 1; UPDATE accounts set amount = amount + 100.0 where id = 2; Вот здесь будет дедлок. И PostgreSQL автоматом его задетектит и устранит. СУБД выкинет ошибку, и в приложении ее можно будет отловить. А в примере в видео - не дедлок. Там просто долго (потенциально бесконечно, если не установили таймаут) выполняющаяся Tx1, и Tx2, которая ее ждет. И такие ситуации PostgreSQL автоматом не разрулит. Можно настроить логирование долгих локов (В самом PostgreSQL), и тогда в логи будет спам сообщений о том, что транзакция слишком долго держит лок.

[@user-hq6nm2tf6j]

спасибо за комментарий, очень полезно

[@hlystomv]

На уровне БД дедлока нет. Но на уровне системы есть. Один поток захватил запись в БД и ждет окончания работы второй транзакции. Вторая транзакция ждет, когда отпустят запись из БД, и не завершает работы. Ни одна из транзакций не может прервать другую. На программном уровне все четыре условия дедлока соблюдены. БД-шечка отвалит одну из транзакций по таймауту. Если бы таймаута не было, то так бы и висели.

[@katsitovlis6791]

@@hlystomv тут вопрос семантики, но вроде как простой и ожидание это разные вещи, и дедлок требует именно ожидания. И в данном случае из-за кривого кода получается что вторая транзакция действительно ждёт пока отпустится блокировка, а вот первая не ждёт а находится в состоянии простоя потомучто транзакции запущены синхронно [тут самое кривое место в коде на мой взгляд], поэтому если придираться до самой последей буквы) то получившкюся картину нельзя назвать дедлоком

[@philthehuman]

41 минута - вот почему лучше всегда отставлять явный save; если какая-то логика выполняется, то пусть она будет явной

[@klerg321]

лучше не использовать орм

[@12453656]

@@klerg321 а что тогда использовать?

[@IT-mishka]

@@12453656 не слушать подобных экспертов, а использовать то, чего требует задача :)

[@user-hq6nm2tf6j]

согласен, тоже когда код идет на ревью - говорю, чтобы писали явно save - это намного удобнее при чтении кода

[@user-bb2nu5gk1j]

Спасибо, очень интересный и приятный доклад!

[@Boyarsskiy]

Это видео надо дать посмотреть всем любителям побыть умными на собесе и поспрашивать кандидата по поводу транзакций. Даже если в теории кандидат и ответит, не факт что на практике это всё будет работать как в теории. У нас тоже был один такой, кто любил засыпать кандидатов вопросами по транзакциям, дабы снизить их ожидания по ЗП. Зато когда были баги, сам лез в гугл и удивлялся новому по теме транзакций в спринге и хибере. ЗП же однако получал как за двоих, так как на собесах сбивал ЗП кандидатам. Вот такие есть токсичные недоучки в лидах.

[@irinav3776]

Часто встречаются такие спрашивающие? Надеюсь что хоть не в каждой первой конторе))

[@Boyarsskiy]

@@irinav3776 Довольно часто ) Так что учите транзакции и конкурентный доступ. Если вы их очень хорошо освоите, то любой собес будет по плечу. Ну и в работе потом будет меньше нежданов.

[@user-gw2xs4zm4r]

@@irinav3776 очень часто и это на джунских собесах

[@user-hq6nm2tf6j]

на такие офферы потом лучше и не соглашаться - мне наоборот повысили зп после оффера, 4 года работаю в это компании. на собеседовании обе стороны смотрят - готовы ли они вместе работать.

[@dmitriys2190]

54:05. Советую разобраться с темой дедлоков и не путать слушателей! Дедлока тут нет, тут обычная ожидающая блокировка. У вас нет взаимной блокировки ресурсов. Первая транзакция не заблокирована ожиданием возможности заблокировать новый ресурс, а вторая при этом не заблокировала ресурсы, необходимые первой. И причем тут вообще таймаут на запросы и дедлок? У постгреса есть свойство, где указывается таймаут именно для дедлоков.

[@katacode]

Спасибо за доклад, очень полезная тема была разобрана. Продолжайте в том же духе

[@vermilinguas]

Молодой Адам Сендлер жестко пояснил про транзакции

[@dmitriys2190]

14:33. Уважаемый докладчик, вы перепутали все уровни изоляции транзакций. Вашу проблему (Lost Update ) решает уровень изоляции Read uncommitted. Именно для этого он и предназначен. Уровень Read committed так же решает эту проблему + решает проблему Uncommitted Dependency Problem (Грязное чтение). Repeatable read это еще более строгий уровень изоляции и в данном примере он не нужен. Более того, ваш пример не демонстрирует этот уровень. Вы рассуждаете об уровнях изоляции, применимых конкретно к PostgreSQL, но не отмечаете это в докладе. Лучше было бы рассказать про стандартное описание уровней, а потом уже отметить особенности PostgreSQL. Ну и поработать с примерами получше. У вас не заработал изначально RC так как параллельные транзакции считывают одни и те же данные и инкриментируют их в результате получается результат меньше, чем должен быть. Для решения этой проблемы нужна блокировка данных уже при чтении, а не только при записи. Поэтому уровень RR и заработал, но вы объяснили и показали совсем другие проблемы.

[@johnsnow2810]

Спасибо за доклад! Хорошо разобраны основные ошибки при работе с транзакциями. Несмотря на то что я хорошо знаком с тразакциями, некоторые нюансы я взял на заметку. Единственное что хотел отметить, следует быть осторожным с запуском CompletableFeature.runAsync(...), т.к. паралельные потоки съедают пул подключений к БД, а это в нагруженных приложениях это дефицитный ресурс. Иногда лучше сохранять в последовательных транзакциях, а лучше батчем в одной транзакции.

[@user-pd6yq4hd5w]

Очень полезный материал, спасибо ! Единственное, что непонятно На 13.00 минуте Никита говорит про dirty read(про откат транзакции), а на примере показывает lost update(чтение одного и того же ресурса), действительно read committed решат lost update, но все же это путает :)

[@dmitriys2190]

Да, с уровнями и примерами у него все напутано и видно, что он сам не понимает, о чем говорит

[@andrsam]

Большое спасибо за доклад, крайне полезный при подготовке к собеседованиям!

[@alexhali6003]

Сейвпойнты не помешали бы в докладе - когда пример не работает, можно из гита свичнуться на заренее закоммиченный пример)

[@a.d.4418]

Лучше уже ветки создавать на каждый пример

[@Boyarsskiy]

Менеджер трат - самое бесполезное что есть в банковских приложениях. Один из банков мне каждый месяц сообщал что 90% моих расходов уходит на путешествия и развлечения. Я обрадовался, да я ж счастливый человек, правда путешествия это были поездки на метро до работы, а развлечения - обед рядом с работой.

[@NikolayPanyukov]

Отличный доклад, спасибо ! 😊 По поводу проблемы с сохранением слишком большого количества записей в историю при использовании метода @Recover, кажется мне удалось понять почему он работал не так как надо в докладе При использовании @Recover - сначала выполняются все попытки в Retryable, и только потом выполняется Recover метод, из-за этого в таблицу с историей попали дополнительные записи

[@dmitriys2190]

Вывод: уровень доклада и понимания автором темы - школьник.

[@user-yp6ue8op7k]

Чувак похож на того над кем он там смеялся из стаковерфлоу, в разрезе чтобы избежать дедлока на транзакции что нужно выбрать ту же строку но другим методом. Дядь, ты серьезно???? Она у тебя уже залочена в базе, але Да и как бы коль не хочешь чтобы были дэдлоки то будь добр в нативку и nowait или skip locked

[@cheese054]

1:01:14 а что если ООМ произойдет после коммита в БД и до коммита оффсета в кафку? Так же тоже может произойти даже если мы повесим @Transactional на консьюмера?

[@kotbajan]

@Transactional не сделает за нас распределенную транзакцию, к сожелению :) После повторного поднятия приклада произойдет повторное обновление значения в БД, если отсутствует механизм дедубликации. Можно накрутить лайков, эксплуатируя OOM.

[@cheese054]

@@kotbajan да, верно, поэтому пример с ООМ из доклада видится не очень удачным, в том смысле что предложенное решение от последствий ООМ спасет не всегда)

[@kotbajan]

@@cheese054 , твоя правда, в этом месте доклада есть сомнительное утверждение. Скорее всего, оно основано на том, что ООМ случается обычно в прикладном коде. Если совместить границы Listener и Transactional, то между коммитами будет только хорошо оптимизированный библиотечный код, где меньше вероятность получить такую проблему.

[@CrunkDaG05]

Вставка о СТО 6:51 не подходит: согласно СТО ваши события могут произойти одновременно, т.к. события у вас не разделены в пространстве (одна БД)

[@dgavrikov84]

Спасибо, доклад очень интересный. Работаю с БД очень давно, более 20 лет. 13:20 - смутил кейс, т.к. постоянно работаю в таких условиях, но не сталкивался с ситуацией перетирания значений. Решил проверить при ReadCommitted. Вторая транзакция на моменте update повисает и ждет пока отпустит первая. Такая ситуация при RC допустима только, если T1 закомититься после select T2 и при условии чтения значения в переменную. Если update будет value+=int4 - то тут всё будет ок. При Repeatable read - так же вторая транзакция на update подвисает (ждет блокировки - завершения первой). Может что не так делаю? --connect 1 select current_setting('transaction_isolation') -- read committed create table test_table ( fkey int4 not null, fvalue int4 not null, constraint pk_test_table primary key(fkey) ); insert into test_table(fkey, fvalue) values (3,5); start transaction; select * from test_table where fkey=3; update test_table set fvalue=fvalue+6 where fkey = 3; -- connect 2 start transaction; select * from test_table where fkey=3; update test_table set fvalue=fvalue+3 where fkey = 3; -- тут висим до завершения транзакции с connect 1 commit

[@KavboiHaggis]

в твоем примере все ништяк )) за исключением одного )) орм делает не так как ты описал ) он делает update test_table set fvalue=10 where fkey = 3;

[@kvengoo7838]

И тут проблема как раз в том, что докладчик слишком упростил написание в примерах и сделал это зря - поменял смысл.

[@user-on5qq7fe8v]

@@KavboiHaggis поэтому иногда фреймворку нужно помочь, и написать запрос ручками

[@dmitriys2190]

Он там все напутал в своем докладе. У него проблема в том, что транзации сначала читают данные, а потом делают инкримент. Ему нужна блокировка на уровне чтения, поэтому он ставит RR, но объясняет это совсем неправильно с кривыми примерами.

[@user-ui5fe7dr9h]

очень доступно, спасибо. уже вижу легаси, в котором неправильно расставлены аннотации у нас на проекте. а что всё таки было с рекавером?

[@kuzd4niil]

Nikolay Panyukov выше ответил. Recover срабатывает только после того как все попытки в max_attemps отработают

[@dmitriys2190]

49:00 Какой бред. Уровень Serializable уже блокирует данные при чтении, так как он решает проблему неповторяемого чтения. Какая еще блокировка?! Блокировки используют тогда, когда хотят вручную управлять уровнями изоляции, при этом уровень изоляции СУБД ставят на возможный минимум. Ну ладно, потом докладчик догадался проверить уровень. Подготовка материала и понимание докладчиком темы - на низком уровне, как будто сам только вчера разобрался с транзакциями.

[@Boyarsskiy]

Лучшая оптимизация транзакции это отсутствие транзакции. В данном примере проблема решается нативным sql атомарным инкрементом.

[@user-hq6nm2tf6j]

даже страшно приставить код в ентерпрайз проекте такой

[@flamencoag]

​@@user-hq6nm2tf6jно делать ретраи или блокировки(а как показано, пессимистичная ещё и к локу может привести) - тоже такое себе

[@a.inozemtsev]

27:00 - циркулярная зависимость вовсе не обязательна. Можно лениво подружать через сеттер или поле.

[@user-hq6nm2tf6j]

никогда не слышал, чтобы называли циркулярная зависимость. От слова циркулярка? циклическая же правильно

[@scutc84]

Отличный содержательный доклад, спасибо!

[@javadeveloper51]

Разве методы интерфейса repository по умолчанию не @Transactional ?

[@katsitovlis6791]

да но тут говнокод нарушает сингл респонсибилити + делает ересь сперва деля селект а потом апдейт и трансакция оборачивается сначала вокруг селект потом после закрытияселекта вокруг апдейта и изза этой тупости мы и получили такой кривой доклад который чинит баг которого нет)

[@vladimirgorlin7510]

Дискуссионную зону тож можно было выложить

[@dieff_automation]

красава

[@artyomlyamin9032]

про блокировки на 39:21

[@javadeveloper51]

Разобрались почему Retrayble не заработал?

[@SPILBERG-FILMS]

😊 доклад супер: всё наглядно и хорошее аудио сопровождение скринкаста. Для Junior и Middle ребят будет сверх познавательно.

[@user-ev9jg6ts6e]

Никита, при упоминании аномалий, вы не упомянули про LOST UPDATE. Эта аномалия у вас в примере собственно и возникает и REPEATABLE READ ее решает в PostgreSQL

[@dmitriys2190]

LOST UPDATE решает уровень Read uncommitted. Докладчик вообще все напутал. REPEATABLE READ решает проблему Inconsistent Analysis Problem

[@flamencoag]

Ну как решает - postgres кидает исключение, как и показал Никита. Поэтому он поставил ретраи, которые почти решили проблему

[@dmitrysmirnov5575]

@@dmitriys2190 SQL стандарт запрещает Lost Update для любого уровня изоляции, но в Постгре автоматическое обнаружение Lost Update работает только на Repeatable Read

[@TheExcentro]

Я так и не понял, какой же способ позволяет все сохранить с минимальными накладными расходами?..

[@kotbajan]

использование буфера в виде kafka + batch + минимизация конкурентного обращения к одним и тем же записям минимизируют накладные расходы на выполнение кода, но максимизируют расходы на его написание

[@maksimus.ssirotkin1124]

@@kotbajan Здесь не до конца понял как это сделать.?

[@user-jc1ht7wg6l]

у вас так же не компилируется код с репозитория? я знаю как это решить, просто вопрос зачем такое коммитить \=

[@savoook]

Рассказывай)

[@user-jc1ht7wg6l]

@@savoook накидать немного дополнительных зависимостей и убрать redis conf

[@user-ke1ix8ob9b]

Смотря на код сразу возникает мыль - почему не сделать через update с условием? Все проблемы из-за хибернейта

[@KavboiHaggis]

если задача стоит в инкременте поля в табличке, можно выкинуть к чертям ORM и написать простенький sql update likes set count = count + 1 и не надо так загоняться с блокировками транзакциями и прочими штуками ))

[@maksimus.ssirotkin1124]

а здесь не нужна будет блокировка или она автоматом?

[@KavboiHaggis]

@@maksimus.ssirotkin1124 оно все само разрулит при таком запросе

[@rdanilin]

Кансюмеры. 😀

[@antNecrom]

Уровень доклада "для начинающих", этот кейс на собеседованиях спрашивают

[@user-gw2xs4zm4r]

именно этим доклад и ценен

[@antonkuranov]

1:01:30 ну вот эта магия лишь заметает под ковер реальные проблемы, создавая ложное ощущние надежности. Скоординированно закоммитить в два ресурса -- базу и кафку, требует дополнительных танцев с бубном по поводу включения two-phase commit.

[@user-pq7tk7gd2h]

У кафки нет такого механизма

[@antonkuranov]

@@user-pq7tk7gd2h могу ошибаться, но вроде как был. Даже доку по этой теме видел. Внутренне эмулируется при помощи дополнительных сообщений типа commit/rollback.

[@pavelpetrashov2975]

постоянно упоминается что какой-то лак рабирается. Спасибо Google нашел Kafka consumer lag gives the offset difference between last produced message and the last consumed message. If the rate of production is higher than the rate of consumption then consumer groups will exhibit lag Но так и не понимаю как он может разгребаться/разгружаться.

[@TechniXC]

Ф Кафке собирается очередь сообщений - а cansumer их вычитывает и обрабатывает в логике приложения. Если лаг (очередь) разгребается медленно, значит что то в коже не так

[@overlordofprogramminglangu7822]

Если кому-то надо более понятное объяснение с примерами: kzbin.info/www/bejne/kIe8q4mnprulo9Usi=lXRST4tRp2VyMsoo

[@user-hq6nm2tf6j]

о посмотрю, а то после этого видео еще больше запутался

[@WERT2025]

Стоит лучше готовиться к докладам, чтобы не тратить время слушателей впустую

[@seryjsk]

Программируй на примере" Автоматов жизнъ~игра" Алгоритмы их на деле " Разновекторн.иногда.. Аналит.вот направлений" Принцип хода у фигур " Где скачком а где линейней" Глайдр выстроит структур?!.👨‍👩‍👧‍👧🖐

[@wm5265]

Слабый доклад. С множеством ошибок. Автор плохо подготовился или сам не до конца понимает предмет.

[@user-uv4uq2ye9g]

а где ссылка на github?

[@JUGru]

Здравствуйте! Ссылка на github есть в презентации. Скачать презентацию можно по ссылке из описания.

[@sjavaoradev]

магия спринга, явных ошибок нет, причину проблему локализовать очень трудно

[@inbuckswetrust7357]

магия спринта что он вроде как сделан для удобства типа фреймворк, но чтобы им пользоваться гарантировано надежно нужно знать кишочки это имхо в корне неправильно.

[@user-ge1fh8xl2v]

Непонятно, почему выполняемая транзакция все время падает? Зачем использовать Retryable?

[@cygnusx-1213]

Падает т.к. конкурентные транзакции пытаются обновить одни и те же записи в БД. Retry использовался для того чтобы повторить попытку записи. Слушал в пол уха, могу ошибаться, но скорее всего все транзакции использовали паттерн записи x+=y. Т.е. мы должны сначала прочесть текущее значение, потом к нему прибавить что-то, а потом записать итоговое значение обратно в БД. И вот тут то может случиться так что то значение к которому мы прибавляли число, уже не актуально, следовательно нам нужно откатить текущую транзакию, но можно сделать еще одну попытку (повторить цикл, чтение - изменение - запись).

[@protiv_bio]

Вот что бывает, когда полагаешься на магию спринга. Вместо кода пробуешь заклинания одно за другим.Все по Е.Борисову. Точнее сказать, костыльный подход теперь не на уровне кода, а на уровне настройки аннотаций

[@umkamax]

Одного не понял: зачем отдельно сохранять лайки и историю?

[@user-hq6nm2tf6j]

для примера было придумано просто. но докладчик больше запутал, чем объяснил

[@user-hw9lj1yg4h]

так мелко ничего не видно можно было уменьшить место неиспользованное

[@user-gi2hx8zf1i]

Доклад не плохой, правда спикер много информации не договаривает или не раскрывает для большего понимания, как мне лично показалось

[@davionsoft5762]

Вчера посмотрел видео Сегодня был собес и 50% времени обсуждали транзакции Легко прошёл) Спасибо каналу

[@maksimus.ssirotkin1124]

По - моему данный доклад ? только путает

[@iamboldaslove]

Очень плохое объяснение

[@Ivan-zc9ds]

Хорош))

[@ins798]

Requires_New, автор не знает основные пропогейшн!

[@bananasba]

В джаве как всегда - миллион аннотаций во всех местах, странные ошибки, названия методов в строках и прочая неявщина и магия, еще кафка теперь, ну чтобы наверняка. Автор почему-то считает, что select for update более опасен, чем все его предыдущие манипуляции, а это совершенно не так, почти все, что тут показано приведет к повреждению нижних конечностей.

[@user-gw2xs4zm4r]

есть альтернативы получше?

[@user-ke1ix8ob9b]

select for update либо update set value = value + 1@@user-gw2xs4zm4r

[@user-en7il2ji2z]

Один из худших докладов, которые довелось смотреть( А жалко, тема то очень важная

[@pawsdev]

Как много гемора, может лучше не юзать Spring или вообще без JAVA обойтись?

[@Gudvin-bg4yg]

Назад на c?

[@user-ok1lq9be4q]

😂

[@erikivanov1]

Позор. Подход не верен в принцепе.

[@levaryazan]

А какой верен и где можно почитать?

[@erikivanov1]

@@levaryazan Не должно быть ошибок при вставке. Повторы это погрев процессора. Можно сделать insert и периодически обновлять основной счетчик. А можно применить Kafka stream и минимизировать количество вставляемых данных. Много вариантов, главное на процессоре чай не заваривать.

[@TechniXC]

@@erikivanov1 Пример со счетчикам лайков был выбран только ради наглядности отображения проблемы и одного из возможных решений при помощи транзакции. В реальной ситуации и правда есть большое количество способов решения проблемы, в том числе и ключи сообщений кафки, и как следствие последовательное вычитываени сообщений по одному id из партиции.

[@VladimirPivovar]

@Erik Ivanov , выложите пожалуйста свой доклад - как должно было быть по вашему сценарию. Мне было бы очень интересно посмотреть, да и не только мне , как кажется.

[@maratgatin6017]

Нет здесь никакого позора, очевидно же, что разбирается проблема конкурентного обновления состояние базы, а не как лайки считать. Доклад прекрасен.

[@user-hj3xx5wc7i]

Cqrs, не не слышал