Информационная энтропия (видео 14) | Теория информации | Программирование

[@KhanAcademyRussian]

Спасибо, что подписываетесь на наш канал! За этот год мы смогли перевести 500 видео и запустить на сайте 8 тем (по 1-2 по каждому из предметов). Наши бесплатные видео и образовательная платформа ежегодно помогают получать знания сотням тысяч людей в России. И сейчас нам просто необходима ваша помощь, чтобы продолжать эту важную миссию. Пожалуйста, поддержите наш проект через пожертвование на сайте planeta.ru/campaigns/khanacademyrussian Для нас важно каждое пожертвование. Спасибо вам!

[@ВикторЩербаков-ь4б]

Мой мозг не может это воспринять и понять(

[@robertosterreich8626]

Спасибо! Очень доходчиво!

[@MaryMary-ep4hd]

Это очень крутой ролик. Понять, что такое энтропия очень трудно из учебников по физике. Оказывается, все так просто! Гениальное объяснение!

[@bimbim4987]

Я это объяснение понял, как не космологическое, а как математическое.

[@nikk6578]

потому что тут термин энтропия в контексте информатики т.е. говорят об энтропии данных, а учебниках по физике - другая энтропия

[@MaryMary-ep4hd]

Ну суть то та же. Энтропия - уровень "упорядоченности".

[@victorprohorov6201]

@@MaryMary-ep4hd как же упорядоченности если наоборот беспорядка

[@ВасилисаШпак-ц9е]

Отличное аналоговое объяснение👍

[@sergeos69]

Любопытно, спасибо.

[@mamaguantanama9436]

Отличный ролик!

[@102hem]

Спасибо

[@Ruwisk]

спасибо, просто и понятно.

[@SpectreSpect-v8z]

Не понимаю, как можно с помощью такого метода узнать сколько вопросов требуется для определения событий (выпавших букв) с вероятностями, не кратными 1/2? Если, к примеру, у нас есть два событие, две буквы, которые выпадают с вероятностями 0.000001 и 0.999999, то в таком случае, у буквы с вероятностию выпадения 0.999999 количество бит будет -log_2(1/ 0.000001), что примерно равно 20. 20 вопросов? Что за 20 вопросов? Откуда они взялись? Непонятно

[@krisa5676]

У меня тоже возник этот вопрос. Насколько понимаю, понятие энтропии больше применимо к системе, которая состоит из большого количества элементов с определенной вероятностью появления. В вашем примере в выборке из миллиона событий произойдет первое примерно один раз. Поэтому для уменьшения количества вопросов в такой большой выборке следует почти всегда спрашивать о событии Б (тогда все обойдется одним вопросом). Конечно, не получится построить дерево с вероятностями, не кратными 1/2, но мы можем аппроскимировать эту вероятность: 0.000001 это приблизительно 2^(-20), то есть как раз эти самые 20 вопросов. Аналогия с вопросами помогает лучше понять суть вероятностей, но ее сложно применить к более непростым системам.

[@НечертИличерт]

ты на вероятность самого события не умножил, там будет где-то 2*10^(-5) бит, что говорит о том,что мы почти всегда знаем, что выпадет. + это уже если я все правильно понял, смысла здесь немного, т.к если надо будет сделать аппарат, который пытается угадать, что выпало, то все равно 1 вопрос ему придется задать, а это уже один бит информации.

[@Stavolj1981]

А зачем вы в скобках вероятность указываете в знаменателе, это и есть вероятность, и ответ будет 1.99е-5

[@Регистрацияубиваетнервы]

афигеть

[@Даша2.0-л8ы]

Почему нельзя спросить гласная буква или нет?

[@ДанилДемиденко-г5х]

Зачем?

[@user-ce6ff5zm3b]

Кажется ошибка,второй автомат генерирует меньше информации =» больше неопределенности, так ведь

[@templarko]

Ні, більше інформації, отже більше невизначеності тому, що невизначеність береться із чогось (із інформації). Наприклад, ти із другом кидаєш монетку для вирішення суперечки і є два варіанти розвитку подій (2 умовні інформаційні одиниці) - реверс та аверс чи орел та решка (ймовірний варіант чи невизначеність), тобто переможе той, чия сторона буде зверху чи знизу (навіть так, для випадків, коли після ловлі монети вона перекидається в іншу долоню). А є ще варіант "нічиєї", коли монетка (рідко, але можливо) встає руба, на накатку - не аверс і не реверс, тобто третя сторона монети, найкоротша, та що між ними. Це буде +1 умовна інформаційна одиниця, вже 3 умови, з котрих витікає 3 варіанти розвитку подій (3 невизначеності). Підсумую: 2 умови (2 "шматка" інформації) = 2 невизначеності. 3 умови = 3 невизначеності. Інформація - це причина, невизначеність - це наслідок. Чим більше причин, тим більше наслідків із них може витікати.

[@victorprohorov6201]

kzbin.info/www/bejne/m2mqq3Z_bbGAj6M что значит количество исходов на данном уровне? Количество отскоков для получения буквы D например равно 3, это значит что количество исходов на данном уровне должно быть равно 8. Это как? 2*2*2?

[@alexcan3559]

2018(

[@quantumofspace1367]

.Творец из лучшего эфира, соткал живые струны мира и кванты музыки с квант струн, мы мыслями через очи пропуская, умом своим, фильтруя на уста и как через зеркальце, но отражаем, мир изобретателя слепца. -Царство хаоса из юных квант бутонов, где с лепестками квант мембран, свет энергией делясь, как «PIN кодом» от бутонов, информацию меняя в лепестках, Вселенную ускоряя - Расцветом плоских квант мембран «из квантов музыки собирая, фракталы танца квант частиц и в каждом движении танца - Квант частица, неопределённо вовлекает и отталкивает хаоса цветы из M-теории эфира». ,.,. Ну как то так, представьте энергию виртуальных частиц в танце фрактал и хаоса - как самое лучшее и худшие предсказания в современной физике, да и квантовую гравитацию, как смещение центров у квант бутонов в танце фрактал.