Лекция. Пулинг. Операция пулинга

[@zealot4325]

Спасибо за видео!

[@nightydope3275]

12:50 у меня вопрос: какой смысл активационной функции после свертки, если дальше идет пуллинг, который берет максимальные значения? Наша активационная функция ReLU, которая берет max(0, x), и тот же макс пуллинг, который берет максимальное значение. На выходе будет матрица с максимальными значениям после пуллинга, что с активационной функцией, что без нее. Так в чем тогда смысл?

[@АлександрГоготов-д7ь]

ReLU не берёт максимум, а просто зануляет отрицательные значения.

[@Andrey_Grishin_primera7790]

@@АлександрГоготов-д7ь выбирая 0 в качестве максимума при отрицательном аргументе функции max(0, x). Тут противоречий нет. Вопрос в том, можно ли облегчить нейронную сеть, исключив ReLu на слоях с макс пуллингом.. а может так и делают?

[@Andrey_Grishin_primera7790]

а нет, если мы не применим функцию активации, нейросеть, на этапе обучения, может сообщить отрицательные значения фильтру, тогда есть риск, что результатом работы max pooling'а окажется самое большое из отрицательных чисел

[@nightydope3275]

@@Andrey_Grishin_primera7790 точно, точно. Спасибо за размышления:))

[@ISandrucho]

что-то не понял, если перемножить 13*13*256, то не получится 4096 (fc - слой)

[@ISandrucho]

@@ТатьянаАндреевнаГайнцева Да, теперь понятно. На тот момент думал, что имеются ввиду входящие размерности, а не исходящие. Ну и то, что предыдущий конв просто флаттенится/"разворачивается".

[@dmytrobondarenko4796]

@@ТатьянаАндреевнаГайнцева Татьяна, подскажите пожалуйста, когда будет открыта запись на осенний курс 2021? И второй вопрос, как можно найти подборку именно ваших лекций по нейронным сетям (да и вообще по DL) (ваша подача материала "зашла" максимально комфортно)) )

[@tatianagaintseva8701]

@@dmytrobondarenko4796 набор будет открыт к началу сентября, скорее всего, на следующей неделе. Выборки чисто моих лекций нет, придется искать их в этих плейлистах. Я не все лекции читаю, только некоторые. И спасибо за отзыв, мне приятно 🥰🥰

[@dmytrobondarenko4796]

@@tatianagaintseva8701 Собрал все ваши лекции за 2020 год)). А потом нашёл курс вашей школы на степике) Но, на степике есть и старые курсы и новые и это вводит в заблуждение(( Мне больше понравились новые (и это понятно, так как видно что подача материала улучшилась). Уже просмотрел половину, а ваши лекции все)). Такого доходчивого изложения материала больше нигде не встречал. И это все открыто!!! Вы делаете просто потрясающую работу. Но вот найти вас сложно(( Прямого перехода с вашего сайта на степик нет. А собирать видео из частей на ютубе ещё тот квест (непонятно что за чем идёт. Если бы было первое, основное видео в котором были бы ссылки на последующие части было бы значительно удобней). Но, в любом случае, огромное спасибо всей вашей команде за этот курс!!!

[@Andrey_Grishin_primera7790]

полагаю, это указаны скрытые слои полносвязной сети, а входной слой как раз будет с количеством нейронов равным 13*13*256. Просто он подразумевается, но явно не изображен

[@cat_lover1607]

в последнем слое не relu скорее всего, а софтмакс?

[@igorgordiy7709]

Да

[@ЕвгенияЕлизейко]

Это между

[@vadimosipov2147]

Если на карте активации большие отрицательные числа, то они не пройдут через MaxPooling. Почему это информация отбрасывается?

[@tatianagaintseva8701]

Вспомните опять же, что сеть учится целиком. Если мы ставим после conv слоя Макс пулинг, то отрицательные числа будут, как вы сказали, отбрасываться, и останутся только положительные. Conv слой подстроится под этот факт и будет учиться выдавать только ту инфу, которая после Макс пулинга будет иметь смысл

[@vadimosipov2147]

@@tatianagaintseva8701 , спасибо. Я про это не подумал. Я так понимаю, что conv слой по градиенту от Loss может сам решить, полезная информация от больших отрицательных числах или нет. И если так, то сделает параметры фильтры такими, что в карте активации они будут принимать противоположный знак. Сложно принять, что это возможно. Есть ощущение, что может не хватить "силы" градиента для первых слоев. А вы проверяете какие значения принимают фильтры, карты активации на процессе обучения?

[@vadimosipov2147]

@@tatianagaintseva8701 , сейчас смотрю лекцию про Transfer Learning, уже 2 раз. У вас получилось очень круто, и не все понимаю. Нужна ваша помощь )

[@tatianagaintseva8701]

@@vadimosipov2147 нет, значения не проверяем. По поводу "не хватить градиента для первых слоев" - смотрите предыдущий урок про архитектуры conv сетей и skip connection

[@vadimosipov2147]

​@@tatianagaintseva8701 , я смотрел. Задам тогда под тем видео сопутствующий вопрос. Спасибо.

[@aliakseydruzik7433]

Правильно ли понимаю, что pooling это то же, что и subsampling?

[@alex_ra.]

в примерах разницы расположения, как и на предыдущей презентации, изображены неправильные фильтры (вертикальные, хотя должны быть горизонтальные)