Лекция. Сверточные нейронные сети

Занятие ведёт Татьяна Гайнцева.
Серия "Введение в CNN"
Видео 1: • Лекция. История развит...
Видео 2: • Лекция. Сверточные ней...
Видео 3: • Лекция. Пулинг. Операц...
Видео 4: • Лекция. Задачи компьют...
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_lear...
Официальный сайт: dls.samcs.ru/ru/
Официальная группа ВК: dlschoo...
Github-репозиторий: github.com/DLS...
Поддержать канал можно на Boosty: boosty.to/deep...
ФПМИ МФТИ
Официальный сайт: mipt.ru/educat...
Магистратура: mipt.ru/educat...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/educat...

[@n.e.bayushkov6601]

50 минут связной лекции без склеек - одно это уже потрясающе. А ещё понятно и интересно :)

[@user-nw2cr4cq9p]

Хорошо бы чтоб эта прекрасная девушка еще и семинары вела. Очень хорошо объясняет и слушать приятно. И смотреть тоже)

[@tatianagaintseva8701]

~(˘▾˘~)

[@ziegimondvishneuski3317]

Прекрасная девушка, немного мешкается.. Паттернов.. млин, не засоряйте русский язык. Есть понятие, признаки присущие обьекту

[@romandeveloper7720]

@@ziegimondvishneuski3317 успокоился?!

[@textreanimator]

Да. Реально крутая

[@denfnc3025]

Это действительно одно из лучших объяснений что я видел, преподавательница просто прелесть! Она сфоомировала интуитивное понимание того, как работает эта архитектура! Большое спасибо ❤

[@taygind]

Все и правда понятно, спасибо, Татьяна!

[@ehrlich6795]

Лучшее объяснения что я когда-либо встречал.

[@user-ob1jz8yl6x]

ОЧень подробно и точно! Особенно понравилось про связь 3 слоя - 5 слоев, тоесть получается как и перцептроне все последующие слои связаны со всеми предыдущими.

[@eleonorabaimbetova3241]

Очень классно! Спасибо большое за такое понятное объяснение 🙏🏻

[@user-gw2eg1ql8r]

Обучаюсь в одном из топовых ИИ университетов страны, раз за разом обращаюсь к вашим лекциям за более ёмким и понятным объяснениям. Спасибо за весь цикл видео!

[@user-bv7gn9le4l]

Что за университет?

[@ISandrucho]

Хорошая лекция. Местами даже слишком разжёвано (особенно, по сравнению с остальными лекциями курса), я немного скучал. Как бы то ни было - однозначно лайк: структурно, по полочкам всё разложила. Спасибо

[@sergeyivzhenko4299]

Разжевано, но зато нет ощущения, что чего-то упущено. У слушателя, по идее, должно остаться чувство контроля за своими мозгами.

[@MrUstritsa]

Вы просто предугадывали все мои вопросы и тут же подобно отвечали на них! Спасибо за лекцию!

[@Im_like_Merphy]

Она такая милая, когда волнуется ^^

[@user-vc3qz1oi4o]

блин как здорово и интересно, если б так нам в вузе объясняли на парах...все были бы отличниками))

[@user-ke5gv1jh5l]

Более понятного объяснения свёрточных сетей не встречала! Спасибо!

[@tedwinkler9861]

Замечательная лекция. Замечательный лектор. Замечательная подача. Браво!

[@CrossTheUniverseNOW]

Нифига себе. А можно эта чудесная преподавательница будет мне все все так объяснять? Понимаю, что это видимо базовая лекция, но как-то теперь и понятно на стартовом уровне «что, к чему и почему». Я в восторге!

[@sergeyivzhenko4299]

Что, и по фильтрам у вас вопросов не осталось? Это нехорошо.

[@aleksandrs1773]

Очень хорошее объяснение. Просто на редкость

[@AnnYoll]

Если бы можно было миллион лайков поставить я бы это сделала! Очень понятное объяснение. Наконец то я знаю что такое сверточные нейронные сети!

[@ravenalbatros]

22:53 перепутаны местами фильтры активации горизонтальных и вертикальных линий

[@Sorsha_go]

Очень годный урок ! Благодарю! В целом достаточно исчерпывающий как мне кажется. Еще раз огромное спасибо!

[@vittaphoto]

Очень подробно и понятно. Спасибо за вашу работу! Впервые хоть что-то поняла, а то уже дурочкой себя чувствовать начала

[@dimvasilevich4789]

Какая Красавица и умница!

[@andrejv____5051]

Благодарю за объяснение 👍

[@user-bj2yn8mp4r]

Прекрасное объяснение материала

[@mishalavik4595]

Отличная лекция, только осталось непонятно, как обучать ядра. Хотелось бы узнать более подробную информацию о том, как проходит этот процесс

[@sergeyivzhenko4299]

Есть маленькие придирки к терминам- а так здОрово! Есть чему поучиться нам, стареньким преподавателям :)

[@oanovitskij]

смутило, что Хэтуэй цветная и не указана третья размерность. Видимо, предполагалось, что чб

[@shavkateshmuratov612]

Спасибо большое за подробное объяснение

[@jeankasymov3908]

Отличная лекция!

[@vladimirbarkovskii2127]

Вы действительно очень хорошо объясняете

[@paul_dark]

Хорошо объясняете. Спасибо

[@CantPickTheNameIwant]

Извините, но разве на 22:07 результаты работы горизонтального и вертикального фильтров на картинке не перепутаны местами?

[@user-rz4nv7zf1x]

Ага, так и есть

[@fr.k197]

Спасибо за лекцию.☺

[@AntonBuketov]

Все подробно, класс!

[@oskardomnin3123]

Лучше и не раскажешь. Молодец!!!

[@user-mq7xq1hi2q]

Большое спасибо!

[@vadimgor999]

31-33 минута. Картинка 3 канала у нас 5 ядер 3*3, получаем 5 плоских карт активации. как так выходит? Когда уже в следующем слое мы для 5-и каналов используем ядра 3*3*5 и получаем 3 плоских карты.

[@user-hk5vf6nx9c]

Вы супер!

[@user-rk2zx5jh3v]

Вы сначала сказали, что недостаток обычной нейронной сети, большое размер входного вектора полученного из изображения, а потом вы прогоняете изображение через фильтр и точно так же подаете результат в обычную сеть не уменьшив размерность, наоборот увеличив ее в разы если фильтров несколько.

[@weird_steve]

то же самое хотел написать )

[@user-mh4ke8lu5q]

сразу об этом задумался когда было сказано карты в вектор сложить

[@yaroslavkarabin1084]

Лекция очень понравилась :)

[@user-qb5bo3jv3e]

Большое спасибо за урок! Только одно осталось неясным: В видео вы говорите, что можно сделать фильтр, который будет реагировать на вертикальные линии и если этим фильтром свернуть картинку на которой много вертикальных линий, то карта активации будет иметь высокие значения. Допустим у нас есть одноканальная картинка на которой изображено 4. Предположим, что картинка (линии четверки) изображена полностью черным цветом. Это означает, что все значения, где расположены вертикальные линии, будут равны нулю. А это как раз таки приведет к тому, что фильтр при умножении на вертикальные линии (которые забиты нулями) примет значение 0 и не будет "активен" тогда как по логике вещей должно быть наоборот... Может такие изображения следует как-то предварительно обрабатывать,?

[@vladsn.2119]

Думаю вам не пригодится, но для остальных всё же напишу. В начале было сказано, что на видео были спутаны черные и белые цвета местами. То есть черный априори имеет высокие числа, а белые низкие. При этом обычно это проблема касается черно-белых картинок. В цветных картинках нет нулей как таковых, поэтому при умножение всё равно что-то получается. В любом случае, фильтры сами себя будут настраивать при реализации алгоритма обратного распространения.

[@911Pasha911]

В начале видео было сказано, что минусом использования полносвязной нейросети является большое количество фич. Но в сверточной нейросети фич либо чуть меньше, либо столько же. Мы все равно так же конкатенируем строки в 1д массив. Этот момент я не понял.

[@pointofview654]

да, это как-то непонятно, я ожидал ,что входной вектор сильно сократится в длину

[@ziegimondvishneuski3317]

Берем фильтер собеля или градиентный XY и пропускаем в рельтате получает свертки по Х и по Y. Обычно добавляют к изображению с каждой стороны величина фильтра разделить на 2 и округлив в меньшую сторону.

[@boloyeung3568]

А как подбирать параметры фильтров в свертках? Прогонять все возможные наклоны линий, чтобы сеть сама выбирала нужные? Сколько вариантов фильтров нужно подавать? Или есть какие-нибудь четкие рекомендации по настройке фильтров?

[@jashdkj4902]

Лучшая!!!

[@gienek_mscislawski]

Танюха классная, дзякуй!

[@Violetta124246]

Супер ! Спасибо большое за курс! А есть ссылка на презентацию?

[@ziegimondvishneuski3317]

Как показывает практика, лучшие результаты получаеются с нормализированными картинками в сером формате, не бинаризированном

[@sacramentofwilderness6656]

Спасибо за отличную лекцию. У меня возникла пара вопросов - 1) пробовали ли в литературе комбинировать обучаемые фильтры с фиксированными, имеющими понятную интерпретацию? Обучаемые фильтры изначально, как я понимаю, в зависимости от инициализации какой-то шум, который в процессе градиентного спуска превращается в что-то, способное реагировать на желаемые свойства или части картинки. Но тем не менее, для человека это будут скорее всего не более чем какой-то случайный набор чисел в матрице. А фильтры типа выделения горизонтальных и вертикальных линий на первых слоях вычленяют тоже полезную информацию и скомбинировавшись уже в средних слоях или нижних слоях с обучаемыми фильтрами могут потенциально улучшить качество. 2) сверточные слои в каком то смысле осуществляют преобразование изначальных данных на основе карт активаций к какому-то формату более ёмко хранящему в себе высокоуровневые понятия, вроде наличия носа или ушей на фотографии и перед входом классификатора (полносвязной сети), картинки, отвечающие разным классам, будут отображаться в какие-то хорошо разделяемые кластеры, которые оставшийся полносвязный кусок легко классифицирует, при условии, если сверточные слои хорошо обучены. Имеет ли смысл пробовать вместо полносвязной сети ставить другой классификатор вроде градиентного бустинга или SVM? 3) По поводу того, что активации сверхточной сети не имеют ничего от исходной картинки - вообще, как подчёркивалось неоднократно, фильтры реагируют на какое-то свойство картинки, а не преобразуют ее. Но для некоторых фильтров выход будет очень похож на исходную картинку, простейший пример - свертка,где в центре единица, а остальные элементы нули по сути будет действовать как тождественное преобразование. Свертка с оператором Лапласа будет выглядеть как исходная картинка, но более резкая.

[@tatianagaintseva8701]

1. Это довольно бесполезно, потому что если сети действительно было бы удобно использовать свёртки для выделения горизонтальных линий, она бы им сама обучилась. Вообще, как показывает многолетняя практика deep learning во всех областях, end-to-end решения, когда вы даёте сети самой решать, что ей нужно, а что нет, работают лучше, чем попытки долепить сетке какие-то "полезные" на взгляд человека фичи. 2. Можно и svm, так даже раньше делали, но опять же: end-to-end + Нейронка работает лучше. Там получаются не такие хорошо отличимые кластеры, чтобы svm хорошо работала. Ну камон, нейронка сложнее и более сложные фичи умеет выделять. 3. Ну да, это возможно. Но в случае с CNN это если и происходит, то редко. То, что я говорю в лекции - это общий случай. То есть, в общем случае не надо думать, что на карте активации будут уши или глаза.

[@andreymozgovoy8705]

@@tatianagaintseva8701 Большое спасибо за лекцию. Посмотрел лекцию полностью и всё-таки не до конца понятны утверждения: если первый слой свёртки определяет низкоуровневые паттерны горизонтально/вертикальных линий и "на карте активации не будут видны уши/глаза", то как дальше следующий слой определит "вырисовывающиеся уши/глаза"? Если так подходить к вопросу, то, получается, второй слой, выделяющий уши/глаза, должен проходить по первоначальному рисунку. Или, уши/глаза выделяются из первой карты активации не так явно, как показано на схеме (например, 47:18, средний фильтр, где практически чётко видны части лица нос/глаза/рот)

[@tatianagaintseva8701]

@@andreymozgovoy8705 первый слой сети "выделяет" низкоуровеневую информацию. Только эта информация не обязательно представлена в виде картинок линий. И информация о наличии ушей не обязательно представлена в виде картинок ушей. Воспринимайте карты активации как некотрый "код" картинки, ее "сжатие". Если вы посмотрите на начинку zip-архива, вы же не увидите там реальные слова, которые были в документе до сжатия? Но информация о них там присутствовать будет. Вот также и карты активации хранят и передают друг другу информацию.

[@user-mq7xq1hi2q]

Но ведь если мы в итоге трансформируем наши карты активации в векторы и конкатенируем их, то во входном слое полносвязной нейронной сети по-прежнему будет очень много нейронов, разве нет? Проблема, указанная в начале, по сути остаётся. Или надо использовать большой stride, чтобы размеры карт активации были существенно меньше размера исходной картинки, и, соответственно, итоговый вектор, полученный в результате конкатенации всех карт активации, получился небольшим? UPD: посмотрел следующее видео про пулинг, вопрос отпал.

[@anton1evdokimov]

Благодарю за отличную лекцию!!!🔥 Возник только вопрос по примеру с 31 минуты : как получается свернуть цветную картинку(32*32*3) двумерным фильтром и получить только двумерную карту активации 30 на 30?

[@Zhenddos_]

Разбить на 3 двумерные матрицы и получить в итоге 3 карты активации

[@vladislavleonov2682]

На слайде про несколько сверточных слоев входная картинка цветная, а ядра как для одного канала- плоские 3x3x1. И количество карт активации 5, то есть, каждый канал по отдельности не обрабатывается. Видимо имелось в виду, что картинка черно-белая?

[@tatianagaintseva8701]

Да, ядра первого сверточного слоя будут иметь столько каналов, сколько входное изображение. 3, если цветное, и 1, если чёрно-белое

[@kalinin_sanja]

Спасибо за лекцию! Вы упорно объясняли, что в картах активации не может быть никаких рисунков. Но откуда взялись рисунки с ваших примеров (на которых видно силуэты человеческих лиц)?

[@nikita9311]

Привет, это не карты, а примеры входных картинок, которые можно подать на вход, когда сеть уже обучилась

[@vadimosipov2147]

Татьяна, если слой свертки подсвечивает паттерн в виде больших по модулю чисел на карте активации, а после карт активации стоят ReLU, то не потушит ли эта функция сам паттерн? Например, на карте активации у нас по итогам -300, далее ReLU и на выходе 0. Такой же 0, как и после -1. Что делают в таких случаях?

[@tatianagaintseva8701]

Вспомните, что сетл учится целиком: это значит, что слои, обучаясь вместе в виде conv-relu-conv-... подстроятся друг под друга и свёртка будет выдавать такие карты активации, чтобы после relu они имели смысл

[@stanislavserov8622]

Очень сложно, но всё понятно!

[@vadimosipov2147]

22:30. А пример точно правилен? Карта активации получается размера 7x7, а не 6x6. А еще, она представляет совсем другой вид. У меня получилось, что только 6 ячеек с нулями, в отличии с карты на слайдах, где почти все нули.

[@tatianagaintseva8701]

Мм возможно, да, есть ошибка в размерности. Вы правы, получится 6*6, не уследила. Но идею, надеюсь, вы поняли :)

[@vadimosipov2147]

@@tatianagaintseva8701 , да, сейчас точно понял

[@user-zg1vo2vu4j]

Хммм.... Как именно складываются карты признаков цветовых каналов в одну карту признаков? (18:17) Просто суммировать?

[@user-rz4nv7zf1x]

Да, суммируешь, а потом ответ в функцию активации пихаешь

[@pointofview654]

А эти фильтры в свёрточных слоях, они как появляются? Откуда берутся? Они готовые или сеть формирует?

[@user-tx2xg6ed3b]

22:00 Почему этот фильтр реагирует на горизонтальные, а не на вертикальные линии?

[@vaaaaaaaaaanjkeeeeeeeeee]

6:33 Я на секунду подумал, что я под чем-что и у меня горизонт поплыл)

[@eminemin7527]

Татьяна в базе mnist изображения цифр имеет размерность 28 на 28 а не 32 на 32...

[@tatianagaintseva8701]

Ну, во-первых, это не суть для лекции) во-вторых, бывает и так, и так. Я встречала как-то вариант с 32

[@eminemin7527]

@@tatianagaintseva8701 тот который собрали в америке оригинал, он 28 на 28 пикселей... а 32 на 32 это видимо переделанный кем то... оригинал MNIST кстати у автора сверточных сетей Ян Лекуна лежит на его личной странице..

[@whatisagoodusernamehere]

Если фильтр активируется, то в нем числа "очень большие" по модулю или по значению?

[@user-hf1js9dz7j]

33:37 разве во втором свёрточном слое не 3 ядра 3x3x3?

[@sgt.archdornan8199]

А как получился такой фильтр как на 7:30? UPD: все ядра - параметры, поддающиеся обучению (43:54) И тем не менее, вопрос: как выглядят фильтры на самой первой эпохе? Они нулевые?

[@ТемаЕршов]

Они случайные, как и веса в нейронной сети

[@sgt.archdornan8199]

@@ТемаЕршов И все же, можно ли залезть внутрь модели и прочитать, какие веса задаются на старте?

[@Vladimir0x29A]

Спасибо за лекцию. У меня вопрос по поводу момента, когда последний слой свёрток попадает на вход полносвязной сети-классификатора. Я так понимаю, что при разном размере картинок на вход классификатора тоже будет подаваться разное кол-во нейронов. Как тогда сеть, у которой связи обучены под определенное кол-во входных нейронов, может работать с другим кол-вом, если мы хотим скормить нейронке картинку другого размера?

[@spaceshine909]

возможно картинка просто трансформируется под нужный размер

[@user-rz4nv7zf1x]

Все картинки нужно предварительно стандартизировать, то есть приводить к одному размеру

[@ziegimondvishneuski3317]

Сложности возникают в случае глубокого обучения, в этом случае есть проблема переобучения.

[@user-cy4yq4le7r]

Я влюбился :)

[@artyommukhometzianov5896]

10:13 а по какому принципу меняется матрица фильтра? Разве она не должна быть константной в рамках операции свертки?

[@tatianagaintseva8701]

она меняется только при обучении. Одна картинка в процессе forward прогона сворачивается вся одним и тем же фильтром. Единственное -- в слое может быть >1 фильтра и карт активаций получится из одной картинки несколько: столько же, сколько и фильтров.

[@dimvasilevich4789]

у чайника тоже есть носик!

[@mishalavik4595]

Эта методика очень похожа на то, как работают каскады Хаара

[@alexanderskusnov5119]

Можно вейвлеты применить (Хаар там тоже есть).

[@user-fr7ef3zm3p]

Не очень поняла логику положительных и отрицательных значений в фильтре. В остальном идеальная лекция

[@ngshares490]

Меня терзают смутные сомнения, что докладчик неполностью понимает то, о чем рассказывает, глядя на слайд 22:05 с картинкой фильтра вертикальных линий, но наблюдая подпись про реакцию фильтра на горизонтальные линии + карту активации по фильтру горизонтальных линий. Читает слайд и нисколько не смутившись повторяет голосом ошибку. Поэтому она так настойчиво утверждает, что карта активации не содержит фрагментов исходных изображений?

[@Anelya298]

а что такое бэк пропогейшн

[@gerda-morozova]

Метод обучения. По-другому называется "Метод обратного распространения". Благодаря этому методу корректируются веса нейронной сети и происходит её обучение.

[@Teacification]

Ведущая - сестра Милли Боби Браун ?

[@alexkor8896]

Ну что там за мерзавец в конце пакетом шуршит, подождать нельзя было

[@SuperWolchara]

какая красивая умная девушка!, я даже забыл зачем я сюда пришел)

[@alexanderskusnov5119]

4 на 4 (чётная сторона фильтра) - такие никто не использует

[@user-lr5jt3oc9k]

еее

[@sibputnik2]

Осталось непонятым, как обучать фильтры

[@Apaximatic_Play]

понятно, я думал эти сети работают хитрее, а это оказывается тупо фильтры

[@Ridick-Furian]

Привет, а ты знаешь Тимофея Фёдоровича Хирьянова?

[@alexanderskusnov5119]

Так и не рассказала, как ядра обучать.

[@user-rk2zx5jh3v]

50 минут размусоливают одни и те же достаточно простые поверхностные вещи, а когда дело доходит до обучения сети сказала 2 слова - "градиентный спуск". Не слова о обучающей выборке, о том как обучаются ядра в комплексе со всей сетью или отдельно. Какая функция ошибки.

[@1stface]

Очередная хрень на 50 минут про свертку, которой уже пруд пруди ; и ничего про детальное обучение сети - особенно фильтров, в которых сами рассказчики ни черта ничего не понимают.

[@hammerhead83]

Что-то девушка или автор лекции напутал. 12:07 не выйдет так. Исходная картинка 16х16, матрица 18х18, фильтр 3х3. Фишка в том, что в результирующей матрице мы устанавливаем число, находящееся под значением [0, 0] фильтра матрицы на прогоняемой матрице. Итак путем простого подсчета элементов на результирующей матрице, может кто-то пояснить, откуда взялись 19 значений в первой строке, если даже расширенная матрица состоит из 18 строк. Только я считать не умею, или в комментариях одно тупье?

[@userbill3236]

ужасно много неправды.

[@user-xx6bc8cp3l]

Плагиат

[@artemykrylov]

Спасибо лектору, но извините, я бы лично не рекомендовал это видео как материал для обучения. Есть оговорки и неточности в повествовании и терминологии, ошибки в примерах. Много повторений о простых вещах и недосказанность о более сложных. Т.е. можно было уложиться в меньшее время, либо рассказать гораздо больше за тоже самое. По-честному, одна единственная англоязычная статья в Википедии о свёрточных сетях en.wikipedia.org/wiki/Convolutional_neural_network кажется равносильной, а то и лучше, чем полноценный учебный курс в подобных data science школах.