Capsule Networks Хинтона - все что вы хотели знать, но боялись прочитать

[@realinformhunter]

Подписался, спасибо за видео!

[@Tantal180]

Все прекрасно, отличный способ подачи! Мне очень нравится, буду ждать новых стримов/видео на тему DL и ML. ЗЫ такой вопросей, а ты вообще "кто"?) Ну кем работаешь, как в DS попал и все такое

[@sim0nsays]

Это типа "ты откуда такой нарисовался"? Работаю в стартапе instrumental.com, делаю там весь ML, к сожалению, пока в одно рыло. До этого был ML engineer в Dropbox, до этого ML не занимался. Надо чтоли на стриме подробнее рассказать.

[@Tantal180]

ну просто видно, что отлично в ds разбираешься, не бывает же такое на ровном месте)

[@АлександрВальвачев-я6ъ]

Послушайте как сам Хинтон объясняет. ПаттерЕр - шедевр.

[@heeeeheeeheee]

It seems to me that he is explaining Capsule Networks really good and it would be great if someone would translate it to English

[@sim0nsays]

I should really get around to do these things in English. Will happen at some point!

[@pavelsgrjozs2377]

Если на фотографии в разных углах будут три цифра 3 - 6 - 4 CNN воспримет их как 3 различных числа или как число 364? Вопрос возник из-за примера с лицом человека.

[@sim0nsays]

Низкие уровни CNN должны распознать их как числа, а более высокие - попробуют из факта наличия 3, 6 и 4 распознать все число. То есть, CNN тоже может это делать, просто Хинтону-сотоварищи кажется, что капсулы могут это делать эффективнее, потому что могут передавать на верхние уровни не только факт наличия признака, а еще и некое его описание.

[@yurymalkov3763]

Сверточные сети также могут передавать на верхние уровни описание, например, кодируя информацию в группах фильтров. При этом они выучиваются этому сами. Исходная аргументация Хинтона довольно сильно притянута за уши.

[@WatcherSha]

Пардон, но я не согласен с двумя предыдущими ответами. Чтобы ответить на ваш вопрос надо сначала, чтобы вы ответили на мой: какую задачу мы решаем? классификации или детекции? Если классификации на 10 классов, то уверен, что нейронка скажет или 3 или 6 или 4 или вообще ерунду если цифры очень маленькие, но никак не 364. Если детекции, то она нейронка найдет 3 цифры на вашем изображении. Объединять ли их в число 364 определяется дополнительными слоями. Аналогия - это как тессеракт собирает буквы в слова. Ну и вообще все зависит от обучающего датасета, если там была картинка с числами 7-9-0 в разных углах и при этом истинный ответ (ground truth) был 790, значит она этому научиться. А если нет, то "удаленность" цифр нейронка воспримет как противопоказание к объединению их в число.

[@sim0nsays]

Да, это хорошее уточнение. В контексте видео я его понял так, как задачу классификации, где один из классов это "364" (аналогично тому, как "лицо" составляется из "глаз-рта-носа" в примере Хинтона). В этом случае можно представить, что какие-то из нижних слоев выучат фичи, кодирующие факт наличия 3, 6 и 4, а более высокие совместях из в "364"

[@pavelsgrjozs2377]

Улыбнуло после "..это сложная формула но по факту она означает ..." )) Нету таких доков которые Симон не прочтет ))

[@ЕгорУрванов]

Непонятно вот что. Во время перехода от первого conv-layer (L1) к капсулам первого уровня (primary caps) (L2). Что имеем. При переходя от L1 к L2 (согласно рисункам и объяснениям), должны мы иметь 12^2 весов, т.е. (20 - 9 + 1)^2=(3*4)^2 и ещё сверху 256 каналов. Итого: 3^2*2^4*2^8. Далее. Переходим к L2. Посчитаем сколько здесь весов. Будем рассматривать, разумеется лишь одну капсулу, поскольку они задают разные фичи в различных позициях (контекстах). Для одной капсулы имеем вектор размерности 8 и ещё 6х6 = (3*2)^2 различных фич. Т.е. 8*(3*2)^2 различных фич. Но это никак не равно 3^2*2^4*2^8. Я, кожалению, не осмотрел оригинал статьи. Погляжу. Но вопрос оставлю. Как производятся свёртки при переходе к L2 так, что получаются капсулы именно такого размера?

[@sim0nsays]

Я не очень понял вопрос из-за терминов. Что у тебя "веса"? Веса, которые мы учим? Количество чисел, которыми описывается активация? Еще ты кажется сравниваешь их на входе и выходе леера, что неправильно. В общем, вопрос не понят!

[@ArseySOAD]

в favorites

[@IExSet]

Скоро потребуется переводчик с суржика на русский, есть такой "ток", есть "лэеры", главное в этом "конволюшене"...кого обычно обзывают "чурками", обычно тех кто плохо говорит на русском языке, думаю большая часть не виновата, ведь это не родной и очень сложный язык, но некоторые родной язык превращают в чурецкий суржик 🤣

[@ДжашауМаршанкулов]

Не все то что вы видите! Надо говорить о том что вы хорошо знаете.