Информационная энтропия (видео 14) | Теория информации | Программирование

#ПрограммированиеJavaScript
Мы подошли к количественной мере неопределённости - к энтропии.
Следующее видео: • Компрессия (видео 15) ...
Предыдущее видео: • Математическая теория ...
Обязательно посмотрите остальные видео из раздела "Теория информации | Программирование": • Теория информации | П...
Академия Хана - некоммерческая организация, которая ставит своей целью сделать качественное образование мирового уровня доступным везде, всегда и для каждого.
Присоединяйтесь к нашей группе во Вконтакте и в Facebook: khanacademyrussianoffi...
/ khanacademyrussianoffi...
Это видео - русская версия видео «Information entropy» Академии Хана ( • Information entropy | ... ). This video is a Russian dubbed version of the Khan Academy video "Information entropy" ( • Information entropy | ... ).
Перевод был выполнен при поддержке Oxford Russia Fund.
Вместе мы сделаем образование лучше!

[@KhanAcademyRussian]

Спасибо, что подписываетесь на наш канал! За этот год мы смогли перевести 500 видео и запустить на сайте 8 тем (по 1-2 по каждому из предметов). Наши бесплатные видео и образовательная платформа ежегодно помогают получать знания сотням тысяч людей в России. И сейчас нам просто необходима ваша помощь, чтобы продолжать эту важную миссию. Пожалуйста, поддержите наш проект через пожертвование на сайте planeta.ru/campaigns/khanacademyrussian Для нас важно каждое пожертвование. Спасибо вам!

[@user-xz4ko6dk5p]

Мой мозг не может это воспринять и понять(

[@MaryMary-ep4hd]

Это очень крутой ролик. Понять, что такое энтропия очень трудно из учебников по физике. Оказывается, все так просто! Гениальное объяснение!

[@bimbim4987]

Я это объяснение понял, как не космологическое, а как математическое.

[@nikk6578]

потому что тут термин энтропия в контексте информатики т.е. говорят об энтропии данных, а учебниках по физике - другая энтропия

[@MaryMary-ep4hd]

Ну суть то та же. Энтропия - уровень "упорядоченности".

[@victorprohorov6201]

@@MaryMary-ep4hd как же упорядоченности если наоборот беспорядка

[@user-ou1dz6ld4z]

Отличное аналоговое объяснение👍

[@sergeos69]

Любопытно, спасибо.

[@mamaguantanama9436]

Отличный ролик!

[@Ruwisk]

спасибо, просто и понятно.

[@102hem]

Спасибо

[@user-eh5ed7nv2y]

афигеть

[@user-jq1dz2zv1h]

Не понимаю, как можно с помощью такого метода узнать сколько вопросов требуется для определения событий (выпавших букв) с вероятностями, не кратными 1/2? Если, к примеру, у нас есть два событие, две буквы, которые выпадают с вероятностями 0.000001 и 0.999999, то в таком случае, у буквы с вероятностию выпадения 0.999999 количество бит будет -log_2(1/ 0.000001), что примерно равно 20. 20 вопросов? Что за 20 вопросов? Откуда они взялись? Непонятно

[@krisa5676]

У меня тоже возник этот вопрос. Насколько понимаю, понятие энтропии больше применимо к системе, которая состоит из большого количества элементов с определенной вероятностью появления. В вашем примере в выборке из миллиона событий произойдет первое примерно один раз. Поэтому для уменьшения количества вопросов в такой большой выборке следует почти всегда спрашивать о событии Б (тогда все обойдется одним вопросом). Конечно, не получится построить дерево с вероятностями, не кратными 1/2, но мы можем аппроскимировать эту вероятность: 0.000001 это приблизительно 2^(-20), то есть как раз эти самые 20 вопросов. Аналогия с вопросами помогает лучше понять суть вероятностей, но ее сложно применить к более непростым системам.

[@user-ik2eo5ug7y]

ты на вероятность самого события не умножил, там будет где-то 2*10^(-5) бит, что говорит о том,что мы почти всегда знаем, что выпадет. + это уже если я все правильно понял, смысла здесь немного, т.к если надо будет сделать аппарат, который пытается угадать, что выпало, то все равно 1 вопрос ему придется задать, а это уже один бит информации.

[@Stavolj1981]

А зачем вы в скобках вероятность указываете в знаменателе, это и есть вероятность, и ответ будет 1.99е-5

[@victorprohorov6201]

kzbin.info/www/bejne/m2mqq3Z_bbGAj6M что значит количество исходов на данном уровне? Количество отскоков для получения буквы D например равно 3, это значит что количество исходов на данном уровне должно быть равно 8. Это как? 2*2*2?

[@user-ce6ff5zm3b]

Кажется ошибка,второй автомат генерирует меньше информации =» больше неопределенности, так ведь

[@templarko]

Ні, більше інформації, отже більше невизначеності тому, що невизначеність береться із чогось (із інформації). Наприклад, ти із другом кидаєш монетку для вирішення суперечки і є два варіанти розвитку подій (2 умовні інформаційні одиниці) - реверс та аверс чи орел та решка (ймовірний варіант чи невизначеність), тобто переможе той, чия сторона буде зверху чи знизу (навіть так, для випадків, коли після ловлі монети вона перекидається в іншу долоню). А є ще варіант "нічиєї", коли монетка (рідко, але можливо) встає руба, на накатку - не аверс і не реверс, тобто третя сторона монети, найкоротша, та що між ними. Це буде +1 умовна інформаційна одиниця, вже 3 умови, з котрих витікає 3 варіанти розвитку подій (3 невизначеності). Підсумую: 2 умови (2 "шматка" інформації) = 2 невизначеності. 3 умови = 3 невизначеності. Інформація - це причина, невизначеність - це наслідок. Чим більше причин, тим більше наслідків із них може витікати.

[@user-hb9sb1ni4l]

Почему нельзя спросить гласная буква или нет?

[@user-os4os9lv1u]

Зачем?

[@quantumofspace1367]

.Творец из лучшего эфира, соткал живые струны мира и кванты музыки с квант струн, мы мыслями через очи пропуская, умом своим, фильтруя на уста и как через зеркальце, но отражаем, мир изобретателя слепца. -Царство хаоса из юных квант бутонов, где с лепестками квант мембран, свет энергией делясь, как «PIN кодом» от бутонов, информацию меняя в лепестках, Вселенную ускоряя - Расцветом плоских квант мембран «из квантов музыки собирая, фракталы танца квант частиц и в каждом движении танца - Квант частица, неопределённо вовлекает и отталкивает хаоса цветы из M-теории эфира». ,.,. Ну как то так, представьте энергию виртуальных частиц в танце фрактал и хаоса - как самое лучшее и худшие предсказания в современной физике, да и квантовую гравитацию, как смещение центров у квант бутонов в танце фрактал.

[@alexcan3559]

2018(