Лекция. Сверточные нейронные сети

Занятие ведёт Татьяна Гайнцева.
Серия "Введение в CNN"
Видео 1: • Лекция. История развит...
Видео 2: • Лекция. Сверточные ней...
Видео 3: • Лекция. Пулинг. Операц...
Видео 4: • Лекция. Задачи компьют...
---
Deep Learning School при ФПМИ МФТИ
Каждые полгода мы запускаем новую итерацию нашего двухсеместрового практического онлайн-курса по глубокому обучению. Наборы проводятся в августе-сентябре и январе-феврале.
За нашими новостями можно следить здесь:
Наш канал в TG: t.me/deep_learning_school_news
Официальный сайт: dls.samcs.ru/ru/
Официальная группа ВК: dlschool_mipt
Github-репозиторий: github.com/DLSchool/dlschool
Поддержать канал можно на Boosty: boosty.to/deeplearningschool
ФПМИ МФТИ
Официальный сайт: mipt.ru/education/departments...
Магистратура: mipt.ru/education/departments...
Онлайн-магистратура "Современная комбинаторика": omscmipt.ru/
Онлайн-магистратура "Цифровая экономика": digec.online/
Лаборатории ФПМИ: mipt.ru/education/departments...

[@n.e.bayushkov6601]

50 минут связной лекции без склеек - одно это уже потрясающе. А ещё понятно и интересно :)

[@taygindk2733]

Все и правда понятно, спасибо, Татьяна!

[@ehrlich6795]

Лучшее объяснения что я когда-либо встречал.

[@user-nw2cr4cq9p]

Хорошо бы чтоб эта прекрасная девушка еще и семинары вела. Очень хорошо объясняет и слушать приятно. И смотреть тоже)

[@tatianagaintseva8701]

~(˘▾˘~)

[@ziegimondvishneuski3317]

Прекрасная девушка, немного мешкается.. Паттернов.. млин, не засоряйте русский язык. Есть понятие, признаки присущие обьекту

[@romandeveloper7720]

@@ziegimondvishneuski3317 успокоился?!

[@textreanimator]

Да. Реально крутая

[@user-gw2eg1ql8r]

Обучаюсь в одном из топовых ИИ университетов страны, раз за разом обращаюсь к вашим лекциям за более ёмким и понятным объяснениям. Спасибо за весь цикл видео!

[@eleonorabaimbetova3241]

Очень классно! Спасибо большое за такое понятное объяснение 🙏🏻

[@MrUstritsa]

Вы просто предугадывали все мои вопросы и тут же подобно отвечали на них! Спасибо за лекцию!

[@user-ke5gv1jh5l]

Более понятного объяснения свёрточных сетей не встречала! Спасибо!

[@user-vc3qz1oi4o]

блин как здорово и интересно, если б так нам в вузе объясняли на парах...все были бы отличниками))

[@tedwinkler9861]

Замечательная лекция. Замечательный лектор. Замечательная подача. Браво!

[@andrejv____5051]

Благодарю за объяснение 👍

[@aleksandrs1773]

Очень хорошее объяснение. Просто на редкость

[@ISandrucho]

Хорошая лекция. Местами даже слишком разжёвано (особенно, по сравнению с остальными лекциями курса), я немного скучал. Как бы то ни было - однозначно лайк: структурно, по полочкам всё разложила. Спасибо

[@sergeyivzhenko4299]

Разжевано, но зато нет ощущения, что чего-то упущено. У слушателя, по идее, должно остаться чувство контроля за своими мозгами.

[@vladimirbarkovskii2127]

Вы действительно очень хорошо объясняете

[@fr.k197]

Спасибо за лекцию.☺

[@shavkateshmuratov612]

Спасибо большое за подробное объяснение

[@paul_dark]

Хорошо объясняете. Спасибо

[@ravenalbatros]

22:53 перепутаны местами фильтры активации горизонтальных и вертикальных линий

[@Sorsha_go]

Очень годный урок ! Благодарю! В целом достаточно исчерпывающий как мне кажется. Еще раз огромное спасибо!

[@mishalavik4595]

Отличная лекция, только осталось непонятно, как обучать ядра. Хотелось бы узнать более подробную информацию о том, как проходит этот процесс

[@AnnYoll]

Если бы можно было миллион лайков поставить я бы это сделала! Очень понятное объяснение. Наконец то я знаю что такое сверточные нейронные сети!

[@jeankasymov3908]

Отличная лекция!

[@user-mq7xq1hi2q]

Большое спасибо!

[@vittaphoto]

Очень подробно и понятно. Спасибо за вашу работу! Впервые хоть что-то поняла, а то уже дурочкой себя чувствовать начала

[@user-bj2yn8mp4r]

Прекрасное объяснение материала

[@CrossTheUniverseNOW]

Нифига себе. А можно эта чудесная преподавательница будет мне все все так объяснять? Понимаю, что это видимо базовая лекция, но как-то теперь и понятно на стартовом уровне «что, к чему и почему». Я в восторге!

[@sergeyivzhenko4299]

Что, и по фильтрам у вас вопросов не осталось? Это нехорошо.

[@yaroslavkarabin1084]

Лекция очень понравилась :)

[@AntonBuketov]

Все подробно, класс!

[@dimvasilevich4789]

Какая Красавица и умница!

[@user-hk5vf6nx9c]

Вы супер!

[@sergeyivzhenko4299]

Есть маленькие придирки к терминам- а так здОрово! Есть чему поучиться нам, стареньким преподавателям :)

[@user-rk2zx5jh3v]

Вы сначала сказали, что недостаток обычной нейронной сети, большое размер входного вектора полученного из изображения, а потом вы прогоняете изображение через фильтр и точно так же подаете результат в обычную сеть не уменьшив размерность, наоборот увеличив ее в разы если фильтров несколько.

[@weird_steve]

то же самое хотел написать )

[@user-mh4ke8lu5q]

сразу об этом задумался когда было сказано карты в вектор сложить

[@CantPickTheNameIwant]

Извините, но разве на 22:07 результаты работы горизонтального и вертикального фильтров на картинке не перепутаны местами?

[@user-rz4nv7zf1x]

Ага, так и есть

[@oskardomnin3123]

Лучше и не раскажешь. Молодец!!!

[@Violetta124246]

Супер ! Спасибо большое за курс! А есть ссылка на презентацию?

[@oanovitskij]

смутило, что Хэтуэй цветная и не указана третья размерность. Видимо, предполагалось, что чб

[@ziegimondvishneuski3317]

Берем фильтер собеля или градиентный XY и пропускаем в рельтате получает свертки по Х и по Y. Обычно добавляют к изображению с каждой стороны величина фильтра разделить на 2 и округлив в меньшую сторону.

[@vadimgor999]

31-33 минута. Картинка 3 канала у нас 5 ядер 3*3, получаем 5 плоских карт активации. как так выходит? Когда уже в следующем слое мы для 5-и каналов используем ядра 3*3*5 и получаем 3 плоских карты.

[@911Pasha911]

В начале видео было сказано, что минусом использования полносвязной нейросети является большое количество фич. Но в сверточной нейросети фич либо чуть меньше, либо столько же. Мы все равно так же конкатенируем строки в 1д массив. Этот момент я не понял.

[@pointofview654]

да, это как-то непонятно, я ожидал ,что входной вектор сильно сократится в длину

[@user-qb5bo3jv3e]

Большое спасибо за урок! Только одно осталось неясным: В видео вы говорите, что можно сделать фильтр, который будет реагировать на вертикальные линии и если этим фильтром свернуть картинку на которой много вертикальных линий, то карта активации будет иметь высокие значения. Допустим у нас есть одноканальная картинка на которой изображено 4. Предположим, что картинка (линии четверки) изображена полностью черным цветом. Это означает, что все значения, где расположены вертикальные линии, будут равны нулю. А это как раз таки приведет к тому, что фильтр при умножении на вертикальные линии (которые забиты нулями) примет значение 0 и не будет "активен" тогда как по логике вещей должно быть наоборот... Может такие изображения следует как-то предварительно обрабатывать,?

[@vladsn.2119]

Думаю вам не пригодится, но для остальных всё же напишу. В начале было сказано, что на видео были спутаны черные и белые цвета местами. То есть черный априори имеет высокие числа, а белые низкие. При этом обычно это проблема касается черно-белых картинок. В цветных картинках нет нулей как таковых, поэтому при умножение всё равно что-то получается. В любом случае, фильтры сами себя будут настраивать при реализации алгоритма обратного распространения.

[@boloyeung3568]

А как подбирать параметры фильтров в свертках? Прогонять все возможные наклоны линий, чтобы сеть сама выбирала нужные? Сколько вариантов фильтров нужно подавать? Или есть какие-нибудь четкие рекомендации по настройке фильтров?

[@whatisagoodusernamehere]

Если фильтр активируется, то в нем числа "очень большие" по модулю или по значению?

[@user-tx2xg6ed3b]

22:00 Почему этот фильтр реагирует на горизонтальные, а не на вертикальные линии?

[@pointofview654]

А эти фильтры в свёрточных слоях, они как появляются? Откуда берутся? Они готовые или сеть формирует?

[@ziegimondvishneuski3317]

Как показывает практика, лучшие результаты получаеются с нормализированными картинками в сером формате, не бинаризированном

[@vadimosipov2147]

Татьяна, если слой свертки подсвечивает паттерн в виде больших по модулю чисел на карте активации, а после карт активации стоят ReLU, то не потушит ли эта функция сам паттерн? Например, на карте активации у нас по итогам -300, далее ReLU и на выходе 0. Такой же 0, как и после -1. Что делают в таких случаях?

[@tatianagaintseva8701]

Вспомните, что сетл учится целиком: это значит, что слои, обучаясь вместе в виде conv-relu-conv-... подстроятся друг под друга и свёртка будет выдавать такие карты активации, чтобы после relu они имели смысл

[@user-mq7xq1hi2q]

Но ведь если мы в итоге трансформируем наши карты активации в векторы и конкатенируем их, то во входном слое полносвязной нейронной сети по-прежнему будет очень много нейронов, разве нет? Проблема, указанная в начале, по сути остаётся. Или надо использовать большой stride, чтобы размеры карт активации были существенно меньше размера исходной картинки, и, соответственно, итоговый вектор, полученный в результате конкатенации всех карт активации, получился небольшим? UPD: посмотрел следующее видео про пулинг, вопрос отпал.

[@sacramentofwilderness6656]

Спасибо за отличную лекцию. У меня возникла пара вопросов - 1) пробовали ли в литературе комбинировать обучаемые фильтры с фиксированными, имеющими понятную интерпретацию? Обучаемые фильтры изначально, как я понимаю, в зависимости от инициализации какой-то шум, который в процессе градиентного спуска превращается в что-то, способное реагировать на желаемые свойства или части картинки. Но тем не менее, для человека это будут скорее всего не более чем какой-то случайный набор чисел в матрице. А фильтры типа выделения горизонтальных и вертикальных линий на первых слоях вычленяют тоже полезную информацию и скомбинировавшись уже в средних слоях или нижних слоях с обучаемыми фильтрами могут потенциально улучшить качество. 2) сверточные слои в каком то смысле осуществляют преобразование изначальных данных на основе карт активаций к какому-то формату более ёмко хранящему в себе высокоуровневые понятия, вроде наличия носа или ушей на фотографии и перед входом классификатора (полносвязной сети), картинки, отвечающие разным классам, будут отображаться в какие-то хорошо разделяемые кластеры, которые оставшийся полносвязный кусок легко классифицирует, при условии, если сверточные слои хорошо обучены. Имеет ли смысл пробовать вместо полносвязной сети ставить другой классификатор вроде градиентного бустинга или SVM? 3) По поводу того, что активации сверхточной сети не имеют ничего от исходной картинки - вообще, как подчёркивалось неоднократно, фильтры реагируют на какое-то свойство картинки, а не преобразуют ее. Но для некоторых фильтров выход будет очень похож на исходную картинку, простейший пример - свертка,где в центре единица, а остальные элементы нули по сути будет действовать как тождественное преобразование. Свертка с оператором Лапласа будет выглядеть как исходная картинка, но более резкая.

[@tatianagaintseva8701]

1. Это довольно бесполезно, потому что если сети действительно было бы удобно использовать свёртки для выделения горизонтальных линий, она бы им сама обучилась. Вообще, как показывает многолетняя практика deep learning во всех областях, end-to-end решения, когда вы даёте сети самой решать, что ей нужно, а что нет, работают лучше, чем попытки долепить сетке какие-то "полезные" на взгляд человека фичи. 2. Можно и svm, так даже раньше делали, но опять же: end-to-end + Нейронка работает лучше. Там получаются не такие хорошо отличимые кластеры, чтобы svm хорошо работала. Ну камон, нейронка сложнее и более сложные фичи умеет выделять. 3. Ну да, это возможно. Но в случае с CNN это если и происходит, то редко. То, что я говорю в лекции - это общий случай. То есть, в общем случае не надо думать, что на карте активации будут уши или глаза.

[@andreymozgovoy8705]

@@tatianagaintseva8701 Большое спасибо за лекцию. Посмотрел лекцию полностью и всё-таки не до конца понятны утверждения: если первый слой свёртки определяет низкоуровневые паттерны горизонтально/вертикальных линий и "на карте активации не будут видны уши/глаза", то как дальше следующий слой определит "вырисовывающиеся уши/глаза"? Если так подходить к вопросу, то, получается, второй слой, выделяющий уши/глаза, должен проходить по первоначальному рисунку. Или, уши/глаза выделяются из первой карты активации не так явно, как показано на схеме (например, 47:18, средний фильтр, где практически чётко видны части лица нос/глаза/рот)

[@tatianagaintseva8701]

@@andreymozgovoy8705 первый слой сети "выделяет" низкоуровеневую информацию. Только эта информация не обязательно представлена в виде картинок линий. И информация о наличии ушей не обязательно представлена в виде картинок ушей. Воспринимайте карты активации как некотрый "код" картинки, ее "сжатие". Если вы посмотрите на начинку zip-архива, вы же не увидите там реальные слова, которые были в документе до сжатия? Но информация о них там присутствовать будет. Вот также и карты активации хранят и передают друг другу информацию.

[@jashdkj4902]

Лучшая!!!

[@Vladimir0x29A]

Спасибо за лекцию. У меня вопрос по поводу момента, когда последний слой свёрток попадает на вход полносвязной сети-классификатора. Я так понимаю, что при разном размере картинок на вход классификатора тоже будет подаваться разное кол-во нейронов. Как тогда сеть, у которой связи обучены под определенное кол-во входных нейронов, может работать с другим кол-вом, если мы хотим скормить нейронке картинку другого размера?

[@spaceshine909]

возможно картинка просто трансформируется под нужный размер

[@user-rz4nv7zf1x]

Все картинки нужно предварительно стандартизировать, то есть приводить к одному размеру

[@kalinin_sanja]

Спасибо за лекцию! Вы упорно объясняли, что в картах активации не может быть никаких рисунков. Но откуда взялись рисунки с ваших примеров (на которых видно силуэты человеческих лиц)?

[@nikita9311]

Привет, это не карты, а примеры входных картинок, которые можно подать на вход, когда сеть уже обучилась

[@anton1evdokimov]

Благодарю за отличную лекцию!!!🔥 Возник только вопрос по примеру с 31 минуты : как получается свернуть цветную картинку(32*32*3) двумерным фильтром и получить только двумерную карту активации 30 на 30?

[@Zhenddos_]

Разбить на 3 двумерные матрицы и получить в итоге 3 карты активации

[@vladislavleonov2682]

На слайде про несколько сверточных слоев входная картинка цветная, а ядра как для одного канала- плоские 3x3x1. И количество карт активации 5, то есть, каждый канал по отдельности не обрабатывается. Видимо имелось в виду, что картинка черно-белая?

[@tatianagaintseva8701]

Да, ядра первого сверточного слоя будут иметь столько каналов, сколько входное изображение. 3, если цветное, и 1, если чёрно-белое

[@user-zg1vo2vu4j]

Хммм.... Как именно складываются карты признаков цветовых каналов в одну карту признаков? (18:17) Просто суммировать?

[@user-rz4nv7zf1x]

Да, суммируешь, а потом ответ в функцию активации пихаешь

[@stanislavserov8622]

Очень сложно, но всё понятно!

[@user-hf1js9dz7j]

33:37 разве во втором свёрточном слое не 3 ядра 3x3x3?

[@vadimosipov2147]

22:30. А пример точно правилен? Карта активации получается размера 7x7, а не 6x6. А еще, она представляет совсем другой вид. У меня получилось, что только 6 ячеек с нулями, в отличии с карты на слайдах, где почти все нули.

[@tatianagaintseva8701]

Мм возможно, да, есть ошибка в размерности. Вы правы, получится 6*6, не уследила. Но идею, надеюсь, вы поняли :)

[@vadimosipov2147]

@@tatianagaintseva8701 , да, сейчас точно понял

[@eminemin7527]

Татьяна в базе mnist изображения цифр имеет размерность 28 на 28 а не 32 на 32...

[@tatianagaintseva8701]

Ну, во-первых, это не суть для лекции) во-вторых, бывает и так, и так. Я встречала как-то вариант с 32

[@eminemin7527]

@@tatianagaintseva8701 тот который собрали в америке оригинал, он 28 на 28 пикселей... а 32 на 32 это видимо переделанный кем то... оригинал MNIST кстати у автора сверточных сетей Ян Лекуна лежит на его личной странице..

[@artyommukhometzianov5896]

10:13 а по какому принципу меняется матрица фильтра? Разве она не должна быть константной в рамках операции свертки?

[@tatianagaintseva8701]

она меняется только при обучении. Одна картинка в процессе forward прогона сворачивается вся одним и тем же фильтром. Единственное -- в слое может быть >1 фильтра и карт активаций получится из одной картинки несколько: столько же, сколько и фильтров.

[@sgt.archdornan8199]

А как получился такой фильтр как на 7:30? UPD: все ядра - параметры, поддающиеся обучению (43:54) И тем не менее, вопрос: как выглядят фильтры на самой первой эпохе? Они нулевые?

[@user-mc9rd7mw6o]

Они случайные, как и веса в нейронной сети

[@sgt.archdornan8199]

@@user-mc9rd7mw6o И все же, можно ли залезть внутрь модели и прочитать, какие веса задаются на старте?

[@vaaaaaaaaaanjkeeeeeeeeee]

6:33 Я на секунду подумал, что я под чем-что и у меня горизонт поплыл)

[@gienek_mscislawski]

Танюха классная, дзякуй!

[@ngshares490]

Меня терзают смутные сомнения, что докладчик неполностью понимает то, о чем рассказывает, глядя на слайд 22:05 с картинкой фильтра вертикальных линий, но наблюдая подпись про реакцию фильтра на горизонтальные линии + карту активации по фильтру горизонтальных линий. Читает слайд и нисколько не смутившись повторяет голосом ошибку. Поэтому она так настойчиво утверждает, что карта активации не содержит фрагментов исходных изображений?

[@Anelya298]

а что такое бэк пропогейшн

[@user-ue8bh7tj5k]

Метод обучения. По-другому называется "Метод обратного распространения". Благодаря этому методу корректируются веса нейронной сети и происходит её обучение.

[@user-cy4yq4le7r]

Я влюбился :)

[@ziegimondvishneuski3317]

Сложности возникают в случае глубокого обучения, в этом случае есть проблема переобучения.

[@user-fr7ef3zm3p]

Не очень поняла логику положительных и отрицательных значений в фильтре. В остальном идеальная лекция

[@dimvasilevich4789]

у чайника тоже есть носик!

[@mishalavik4595]

Эта методика очень похожа на то, как работают каскады Хаара

[@alexanderskusnov5119]

Можно вейвлеты применить (Хаар там тоже есть).

[@sibputnik2]

Осталось непонятым, как обучать фильтры

[@alexanderskusnov5119]

4 на 4 (чётная сторона фильтра) - такие никто не использует

[@Teacification]

Ведущая - сестра Милли Боби Браун ?

[@Apaximatic_Play]

понятно, я думал эти сети работают хитрее, а это оказывается тупо фильтры

[@user-lr5jt3oc9k]

еее

[@SuperWolchara]

какая красивая умная девушка!, я даже забыл зачем я сюда пришел)

[@user-yc5nq4xr8b]

Привет, а ты знаешь Тимофея Фёдоровича Хирьянова?

[@alexkor8896]

Ну что там за мерзавец в конце пакетом шуршит, подождать нельзя было

[@user-qy3jg1th1j]

Что-то девушка или автор лекции напутал. 12:07 не выйдет так. Исходная картинка 16х16, матрица 18х18, фильтр 3х3. Фишка в том, что в результирующей матрице мы устанавливаем число, находящееся под значением [0, 0] фильтра матрицы на прогоняемой матрице. Итак путем простого подсчета элементов на результирующей матрице, может кто-то пояснить, откуда взялись 19 значений в первой строке, если даже расширенная матрица состоит из 18 строк. Только я считать не умею, или в комментариях одно тупье?

[@alexanderskusnov5119]

Так и не рассказала, как ядра обучать.

[@user-rk2zx5jh3v]

50 минут размусоливают одни и те же достаточно простые поверхностные вещи, а когда дело доходит до обучения сети сказала 2 слова - "градиентный спуск". Не слова о обучающей выборке, о том как обучаются ядра в комплексе со всей сетью или отдельно. Какая функция ошибки.

[@1stface]

Очередная хрень на 50 минут про свертку, которой уже пруд пруди ; и ничего про детальное обучение сети - особенно фильтров, в которых сами рассказчики ни черта ничего не понимают.

[@user-xx6bc8cp3l]

Плагиат

[@userbill3236]

ужасно много неправды.

[@user-qf2hn5jt5j]

До науки тут похоже далеко. Пока метод тыка. Даже разделение патернов по слоям возникает непонятно почему.

[@artemykrylov]

Спасибо лектору, но извините, я бы лично не рекомендовал это видео как материал для обучения. Есть оговорки и неточности в повествовании и терминологии, ошибки в примерах. Много повторений о простых вещах и недосказанность о более сложных. Т.е. можно было уложиться в меньшее время, либо рассказать гораздо больше за тоже самое. По-честному, одна единственная англоязычная статья в Википедии о свёрточных сетях en.wikipedia.org/wiki/Convolutional_neural_network кажется равносильной, а то и лучше, чем полноценный учебный курс в подобных data science школах.