Сеть Хопфилда

Показывается пример синхронной работы нейронной сети Хопфилда (сеть Литтла). Берем 3 образца - векторы длины 4, кодированные биполярно, т.е. +1 и -1, и распознаем "испорченный" образец - вектор той же длины 4. Получаем матрицу, умножаем ее на "испорченный" образец, обрабатываем результат умножения (вектор) функцией знака SIGN, и получаем подправленный образец. В реальных задачах надо проводить итерации, здесь же получается все с первого раза. Цитируем Саймона Хайкина (Simon Haykin "Neural Networks. A Comprehensive Foundation").
Web Money R203042939278 WMR

[@LightInside-id1fm]

Наилучшие воспоминания о тех преподавателях, которые умея объяснить сложные концепции заведомо ожидают понимания слушателя, сохраняют скромность и тем самым дают ощущение равенства в поиске решения, истины...

[@jalomic]

Спасибо вам. Вы делаете интернет интересным. Ужасно надоели псевдонаучные популистские видео..особенно что касается нейронных сетей, да и ИИ вцелом.

[@panzerjagerkanone8226]

привет из 2024 ахахха+

[@romanlevkovych9482]

самое понятное объяснение работы нейронных сетей. Хотелось бы больше таких лекций

[@MunkusPriam]

Замечательная лекция. Все очень доступно объясняется. Спасибо!

[@Netskyjke]

Всем бы такого преподавателя! Спасибо!

[@horhegarsia4221]

Отличная лекция. Всё очень доступно. Спасибо.

[@joker6540]

Спасибо огромное! Очень доходчиво. Как раз делаю диплом по нейронным сетям.

[@AlekLem]

Вы просто большой молодец, что делаете эти уроки.

[@oleksiiyurchyna2551]

Спасибо огромное! После просмотра разнообразных ресурсов в поисковике о сети Хопфилда (потратив 2 часа), понял работу сети только после просмотра вашего видео!

[@user-op8ft8fb4k]

Великолепное объяснение. Спасибо!

[@CtrlFall]

Очень хорошо объясняете. Спасибо большое.

[@irinaskudnova1048]

Спасибо большое. Намного легче понимать на простых примерах :) В отсканированной версии книги Саймона и Хайкина (Москва, изд "Вильямс", 2006) "Нейронные сети" на стр. 875 приводится формула ёмкости сети Хопфилда, о которой Вы говорите. Там написано log по основанию e, т.е. всё-таки похоже натуральный логарифм.

[@TontoGenio]

Так приятно увидеть интересную статью из родного МЭИ.

[@juwileurlexsss4703]

Большое спасибо. Всё предельно ясно!

[@user-im3td6ri7x]

Все понятно, просто и доступно! Мне бы такого преподавателя в 2010 году. Было бы проще. А когда о простом рассказывают сложно, это не очень хорошо!

[@capslow_ru]

Спасибо, было действительно интересно.

[@Empowerrr]

спасибо! отличное объяснение.

[@wtfopmouse]

24 минуты информации! Я все понял. Целый симестр объясняли это в университете, из группы 20 человек, не забили на задание 3 человека включая меня, теперь я понимаю почему все так рвутся в Москву Спасибо большое за лекцию, подписался на канал летом обязательно все просмотрю.

[@zabachok]

Ничего не понимаю в матиматике, но все объяснено предельно ясно. Сижу пытаюсь реализовать. Спасибо большое!!!

[@aleksandristomin2614]

Как успехи?)

[@4r4zzz]

@@aleksandristomin2614переполнил стек знаний после этого видоса. проще говоря скончался

[@user-yg3vd2ll8n]

Благодарю за урок,попробую сделать программку для распознавания букв А,Б,В,Г

[@Boriss376]

Спасибо за пояснение.

[@LShadow77]

Вот бы ещё про ассоциативную память на основе матрицы корреляции увидеть доходчивую лекцию. Читая Хайкина как раз застопорился на этом этапе. И да, опечаток у него прилично, что ещё больше затрудняет процесс понимания, и это не смотря на то, что 2-е издание!

[@user-yp8gl6cx6d]

Огромное спасибо)!

[@gorv692]

Вольшое спасибо !!! Есть еще где-то Ваши лекции ? Очень интересны карты Кохонена

[@TheDoveran]

Спасибо огромнейшее

[@dsizov]

Спасибо!

[@user-ol7qg3mw7d]

Спасибо, очень интересно, пожалуйста расскажите алгоритм подробнее, если бы картинка была бы цветная. Так же буду благодарен Вам, если вы расскажете о других видах нейронных сетей.

[@wtfopmouse]

Еще вопрос при асинхронном использовании обязательно делить пополам? или можно с каждой итерацией брать в отношении 3 к 2 и тд... это и имелось ввиду про ступеньки?

[@user-xt8mc1xd4e]

Я не могу понять, в каких случаях срабатывает восстановление образа? И в каких случаях в функции вместо 0 ставить -1?

[@alexandersapronov9281]

как хорошо объяснили! по поводу ёмкости, в формуле по идее действительно логично ожидать логарифма по основанию 2, где 2 символизирует два варианта {-1,1} и я полагаю что его формула наверно верна, просто у вас вырожденный пример: вы нагрузили алгоритм, способный выявить похожесть от силы на один образец ещё 2мя лишниими вариантами я ещё не проверял, но подозреваю что он будет всегда или почти всегда сходиться к одному из избыточных образцов собственно там всего-то 16 вариантов может быть, из них 3 - это ровно один из образцов, а остальные 13 к ним сходятся(?)...

[@anodeychuk]

Очень хорошо разложено по полочкам, если кому хочется еще подробнее, то можете посмотреть тут phdblog.org.ua/m/Nejronnaya_set_Xopfilda.html. Хотелось бы увидеть описание других нейронных сетей. Толково рассказываете! Спасибо.

[@user-un6do5xf1n]

если можно, как математически формулируется условие остановки итерационного процесса?

[@konkotaro]

Ты просто БОГ

[@user-ku1sd9so4b]

Спасибо большое за видео. Все подробно и хорошо объяснили. Что называется "на пальцах".

[@SkyFoxSukaiKitsune]

Интересно можно ли применить Карту Карно к данной сети, для сокращения ее размера...

[@ventilyator]

спасибо!

[@Kirsanov2011]

"Ступенька" - функция знака (меньше нуля 0, больше нуля 1, ноль же относят иногда к 0, иногда к 1).. Делить не обязательно.

[@Boriss376]

Извините могли бы объяснить я не совсем понял.! Входной вектор используется, как веса нейронов?

[@Enot705]

Первое умножение векторов - произведение Кронекера, насколько я понял. Было бы хорошо это указать в видео.

[@UAwerewolf]

спасибо)

[@MrAlexPhilippov]

1:30 - это называется *бинарное растровое изображение* (бинарный растр). С бОльшим количеством монохромных градаций называется *полутоновое изображение* . Есть ещё цветные *индексированные* (с палитрой) изображения. И, наконец, *полноцветные изображения*, с компонентным представлением значения пиксела в выбранной цветовой модели.

[@Kirsanov2011]

Спасибо!

[@MrAlexPhilippov]

@@Kirsanov2011 Это Вам спасибо! :)) А по растрам обращайтесь. ;-)

[@HihumanIamGOD]

О мой будущий курсач ))

[@user-kr4hg3gs8j]

а есть лекция о сети Хемминга?

[@minds_clear_02.23_]

Очень понравилась простое объяснение работы сети. Как раз планирую реализовать данный алгоритм. Есть также мысль написать разумного чат-бота с применением нейронной сети. Может подскажете к какому типу это относится. Сам просто не знаю как правильно сформулировать запрос поисковику для получения информации относящейся к тематике разговорной нейронной сети. Жду вашего ответа. Заранее спасибо.

[@Kirsanov2011]

Скорее всего это нейронная сеть с обучением типа обратного распространения ошибок. Кажется, такой лекции у меня нет. Не помню. Система эта сложная, намного сложнее и непонятнее Хопфилда и обучение идет крайне медленно.10 - 20 тыс. циклов для обучения одному ответу. Зато к Вашей задаче может подойти. Сеть Хопфилда может и подойдет, здесь надо думать, что брать за образцы. Да и зачем что-то распознавать? В общем, не все так просто...

[@minds_clear_02.23_]

У меня большие планы по разработке уникального приложения на нейросети. Проще сказать что идея не осуществима и забросить, но я не намерен так поступать. Ну а вам спасибо за столь развёрнутый ответ. Делайте больше видео. У вас как не странно получается объяснить сложное в простой форме. С уважением Владимир.

[@Kirsanov2011]

Спасибо. А сложное в сложной форме я и сам не понимаю. Успехов! На энтузиастах все и держится.

[@zahar_AI]

Зачем в чат-боте нейросети? Они же не способны логически мыслить!

[@minds_clear_02.23_]

zahar zacc Для оценки фразы и принятия ботом решения что-бы ответить пользователю. Естественно нейросети потребуется вычислительная мощность для обработки обширных размеров базы данных и разумеется времени, но мы ведь не обсуждаем с вами здесь PHP чат-бота? Ибо всё выше сказанное будет не уместно.

[@armotech2557]

фига просто объясняет. думал что придется напрягаться. пришлось конечно, но не сильно)

[@paul180472]

наконец то я понял!

[@vladyslavkolodka6387]

немного не понял на каком этапе нужно остановить итерацию. в данном примере результат совпал с одним из шаблонов. а что если не совпадет? пойдет след. итерация, как избежать бесконечного цикла (какое условие)?

[@Kirsanov2011]

Точного ответа на этот вопрос нет. Все зыбко, на уровне интуиции.

[@MaxMaxx-tb6nz]

В гугл-картинках второй по счету результат по запросу "Хопфилд" - лектор :)

[@TheCktulhu]

там в формуле если брать логарифм натуральный( а не по основанию 2 ) то количество образов будет около 5 , все нормально будет

[@mkrugl]

Жаль, что у меня не было такого преподавателя!

[@Kirsanov2011]

Нет. Входной вектор, это входной вектор. Как у всякой сети. А потом он пропускается через сеть и что-то там получается (тоже вектор, но уже выход). Для вектора длиной 5 нейронов 25.

[@sluchaynayakotya1386]

если считать с натуральным логарифмом, получится ~3. не могли бы вы привести точную ссылку на первоисточник для формулы с основанием 2?

[@Kirsanov2011]

Я этой темой года 2 не занимаюсь. Помню, было 2 варианта. С натур логарифмом и по основ 2. Может я в Саймон Хайкине это прочитал? Или в Уосермене (есть в сети в doc формате)? Еще я увлекался книгой Р.Каллана vuz.exponenta.ru/PDF/MPEI/robertkallan.jpg и книгой Тима Джонса vuz.exponenta.ru/PDF/book/tj.jpg Не сам же я это выдумал...

[@sluchaynayakotya1386]

@@Kirsanov2011 спасибо что ответили. нет, понятно, что не сами выдумали, просто интересно стало, откуда появились эти разногласия.

[@user-po1xn5vw8y]

Не могли бы вы рассказать таким же простым языком об алгоритме обратного распространения ошибки.Как то не осмысливается формулировка из википедии.

[@Kirsanov2011]

Согласен. Трудно понять. Я читал книгу Р.Каллана.

[@IvanGavr]

По "следам лекции" вроде бы получилось запрограммировать это. Легко программруется: comb.org.ru/hopfild.php github.com/dcc0/php_diff_tricks/blob/master/hoplfildnet/hopfildnet.php

[@Kirsanov2011]

Спасибо огромное!

[@sculp_vetrov]

а если у меня 0 получился в матрице и мне нужно на нём провести функцию активации он -1 или 1 становится?

[@Kirsanov2011]

В общем, это все равно. надо только выбранное правило выполнять далее всегда.

[@daniilsai4542]

Я правильно понимаю, что именно нейронная сеть хопфилда используется в качестве обучения ИИ?

[@Kirsanov2011]

+Deny Lars Нет, конечно. Это одна из многих. Есть и другие, более надежные, но медленные.

[@Itami9301]

А как вы перемножили столбец на строку и получили матрицу? Должно же получиться число.

[@Kirsanov2011]

Itami Heath Нет. Строку на столбец - число.

[@Itami9301]

Kirsanov2011 Разобрался, спасибо.

[@VRSpro]

Kirsanov2011 и от меня спасибо!

[@user-fo7vm4eu5e]

образцы(x1,x2,x3) - что-то вроде эталонов?

[@Kirsanov2011]

да

[@Andreykin_Plushkin]

Тоесть надо прогонять циклом 5,-5,5,3 * 1,-1,1,1 и потом результат умножения этих матриц снова умножать на 1,-1,1,1? Помогите пожалуйста)

[@IvanGavr]

Новый вектор надо снова умножить на матрицу

[@IvanGavr]

github.com/dcc0/php_diff_tricks/blob/master/hoplfildnet/hopfildnet.php

[@Drunno1]

Ничего не понял. Умножение матриц это конечно интересно, но не понятно для чего. А где сеть и где процесс распознавания?

[@Kirsanov2011]

Сети бывают разные. Это скорее просто алгоритм, но его можно представить (нарисовать) в виде простейшей сети. Вход-выход.

[@alexrr7087]

18:43 объясните мне откуда берётся это значение y* ?

[@Kirsanov2011]

y* получается как произведение матрицы W на заданный образец y, который подлежит распознаванию.

[@IMW11]

Приятное видео, не нравится как обычно преподносят нейросети, биологические нейроны намного сложнее и каждый нейрон может иметь тысячи связей, даже просто по количеству 32-битных указателей будет 4Кб на 1 нейрон и это всего 1000 связей, если их 10000 и нейронов 10000, то уже только на связи уйдет памяти 400Мб без какой-либо доп нагрузки. На уровне ПК моделирование биологии накладно конечно, нужно упрощать, что и делают люди.

[@user-nm5er9oh1m]

Я понял как работает сеть Хопфилда... Осталось понять ПОЧЕМУ она работает....

[@user-nm5er9oh1m]

Ведь получается, что в векторе У* каждый элемент - это сумма произведений соответствующего элемента вектора У и элементов соответствующей строки суммарной весовой матрицы. Не понятно... не понятно, почему элемент вектора У* даёт знак как у эталонного образа. Если так подумать, то У* будет при каждой итерации совершенно случайным... почему же этого не происходит...

[@user-nm5er9oh1m]

Госпади!!! Я понял!!! Понял!!! Нас не волнует количественное значение! А вот знак связей между нейронами при произведении будет ритягивать значение элемента выходной матрицы в правильную полуплоскость, при условии, что "правильных" значений во входном образе больше половины! Наверное как-то так... Во всяком случае, я надеюсь, что в моём образе правды больше половины)))

[@manzukrecordsexclusive578]

смотрю в 2022

[@Alex-jl1en]

еееее НИУ МЭИ

[@AlexNirt12]

функция = обучение в матрице w =)

[@CroUsaP]

24 минуты как и не бывало

[@user-dt6wq8js8b]

+100500!!!!

[@pavelv419]

все понятно. парню нравятся би =))

[@afoni6285]

16:51

[@stivensti2031]

готовиться лучше надо к лекции

[@Kirsanov2011]

Следующий раз. Специально для Вас.

[@romangiza7331]

Просто выбешивают 2 фактора: 1. В речи 70% "воды". 2. Напишет на доске, а затем свой фейс на весь экран показывает. Что нельзя чуть в сторонку встать?

[@Kirsanov2011]

+Roman Giza Роман! Да, замечание справедливо. 1. Хочется поговорить (старость...) 2. Увлекаюсь, забываю отойти в сторону. Замечание полезное на будущее. Переделывать старое не буду... А Хопфилда еще расскажу

[@Kirsanov2011]

+Иса Садаев Спасибо за поддержку моей благотворительности...

[@romangiza7331]

+HipDoc Ну если тебе интересно тратить свое время на "воду", вместо того что бы получать емкую информацию в кратком виде... Не буду оставлять свое оценочное суждение о твоем интеллектуальном потенциале))

[@sluchaynayakotya1386]

@@romangiza7331 слыш, деда не трогай. он клевый

[@almatytelecom1]

Для того чтобы воду спокойно переносить ставьте скорость воспроизведения x2

[@PhoenixxxL4D2]

Спасибо!