Информационная энтропия (видео 14) | Теория информации | Программирование

  Рет қаралды 29,472

KhanAcademyRussian

KhanAcademyRussian

3 жыл бұрын

#ПрограммированиеJavaScript
Мы подошли к количественной мере неопределённости - к энтропии.
Следующее видео: • Компрессия (видео 15) ...
Предыдущее видео: • Математическая теория ...
Обязательно посмотрите остальные видео из раздела "Теория информации | Программирование": • Теория информации | П...
Академия Хана - некоммерческая организация, которая ставит своей целью сделать качественное образование мирового уровня доступным везде, всегда и для каждого.
Присоединяйтесь к нашей группе во Вконтакте и в Facebook: khanacademyrussianoffi...
/ khanacademyrussianoffi...
Это видео - русская версия видео «Information entropy» Академии Хана ( • Information entropy | ... ). This video is a Russian dubbed version of the Khan Academy video "Information entropy" ( • Information entropy | ... ).
Перевод был выполнен при поддержке Oxford Russia Fund.
Вместе мы сделаем образование лучше!

Пікірлер: 24
@KhanAcademyRussian
@KhanAcademyRussian 3 жыл бұрын
Спасибо, что подписываетесь на наш канал! За этот год мы смогли перевести 500 видео и запустить на сайте 8 тем (по 1-2 по каждому из предметов). Наши бесплатные видео и образовательная платформа ежегодно помогают получать знания сотням тысяч людей в России. И сейчас нам просто необходима ваша помощь, чтобы продолжать эту важную миссию. Пожалуйста, поддержите наш проект через пожертвование на сайте planeta.ru/campaigns/khanacademyrussian Для нас важно каждое пожертвование. Спасибо вам!
@user-xz4ko6dk5p
@user-xz4ko6dk5p 2 жыл бұрын
Мой мозг не может это воспринять и понять(
@MaryMary-ep4hd
@MaryMary-ep4hd 3 жыл бұрын
Это очень крутой ролик. Понять, что такое энтропия очень трудно из учебников по физике. Оказывается, все так просто! Гениальное объяснение!
@bimbim4987
@bimbim4987 3 жыл бұрын
Я это объяснение понял, как не космологическое, а как математическое.
@nikk6578
@nikk6578 3 жыл бұрын
потому что тут термин энтропия в контексте информатики т.е. говорят об энтропии данных, а учебниках по физике - другая энтропия
@MaryMary-ep4hd
@MaryMary-ep4hd 3 жыл бұрын
Ну суть то та же. Энтропия - уровень "упорядоченности".
@victorprohorov6201
@victorprohorov6201 2 жыл бұрын
@@MaryMary-ep4hd как же упорядоченности если наоборот беспорядка
@user-ou1dz6ld4z
@user-ou1dz6ld4z Жыл бұрын
Отличное аналоговое объяснение👍
@sergeos69
@sergeos69 3 жыл бұрын
Любопытно, спасибо.
@mamaguantanama9436
@mamaguantanama9436 3 жыл бұрын
Отличный ролик!
@Ruwisk
@Ruwisk Жыл бұрын
спасибо, просто и понятно.
@102hem
@102hem 3 жыл бұрын
Спасибо
@user-eh5ed7nv2y
@user-eh5ed7nv2y 3 жыл бұрын
афигеть
@user-jq1dz2zv1h
@user-jq1dz2zv1h 2 жыл бұрын
Не понимаю, как можно с помощью такого метода узнать сколько вопросов требуется для определения событий (выпавших букв) с вероятностями, не кратными 1/2? Если, к примеру, у нас есть два событие, две буквы, которые выпадают с вероятностями 0.000001 и 0.999999, то в таком случае, у буквы с вероятностию выпадения 0.999999 количество бит будет -log_2(1/ 0.000001), что примерно равно 20. 20 вопросов? Что за 20 вопросов? Откуда они взялись? Непонятно
@krisa5676
@krisa5676 2 жыл бұрын
У меня тоже возник этот вопрос. Насколько понимаю, понятие энтропии больше применимо к системе, которая состоит из большого количества элементов с определенной вероятностью появления. В вашем примере в выборке из миллиона событий произойдет первое примерно один раз. Поэтому для уменьшения количества вопросов в такой большой выборке следует почти всегда спрашивать о событии Б (тогда все обойдется одним вопросом). Конечно, не получится построить дерево с вероятностями, не кратными 1/2, но мы можем аппроскимировать эту вероятность: 0.000001 это приблизительно 2^(-20), то есть как раз эти самые 20 вопросов. Аналогия с вопросами помогает лучше понять суть вероятностей, но ее сложно применить к более непростым системам.
@user-ik2eo5ug7y
@user-ik2eo5ug7y 2 жыл бұрын
ты на вероятность самого события не умножил, там будет где-то 2*10^(-5) бит, что говорит о том,что мы почти всегда знаем, что выпадет. + это уже если я все правильно понял, смысла здесь немного, т.к если надо будет сделать аппарат, который пытается угадать, что выпало, то все равно 1 вопрос ему придется задать, а это уже один бит информации.
@Stavolj1981
@Stavolj1981 11 ай бұрын
А зачем вы в скобках вероятность указываете в знаменателе, это и есть вероятность, и ответ будет 1.99е-5
@victorprohorov6201
@victorprohorov6201 2 жыл бұрын
kzbin.info/www/bejne/m2mqq3Z_bbGAj6M что значит количество исходов на данном уровне? Количество отскоков для получения буквы D например равно 3, это значит что количество исходов на данном уровне должно быть равно 8. Это как? 2*2*2?
@user-ce6ff5zm3b
@user-ce6ff5zm3b Жыл бұрын
Кажется ошибка,второй автомат генерирует меньше информации =» больше неопределенности, так ведь
@templarko
@templarko 9 ай бұрын
Ні, більше інформації, отже більше невизначеності тому, що невизначеність береться із чогось (із інформації). Наприклад, ти із другом кидаєш монетку для вирішення суперечки і є два варіанти розвитку подій (2 умовні інформаційні одиниці) - реверс та аверс чи орел та решка (ймовірний варіант чи невизначеність), тобто переможе той, чия сторона буде зверху чи знизу (навіть так, для випадків, коли після ловлі монети вона перекидається в іншу долоню). А є ще варіант "нічиєї", коли монетка (рідко, але можливо) встає руба, на накатку - не аверс і не реверс, тобто третя сторона монети, найкоротша, та що між ними. Це буде +1 умовна інформаційна одиниця, вже 3 умови, з котрих витікає 3 варіанти розвитку подій (3 невизначеності). Підсумую: 2 умови (2 "шматка" інформації) = 2 невизначеності. 3 умови = 3 невизначеності. Інформація - це причина, невизначеність - це наслідок. Чим більше причин, тим більше наслідків із них може витікати.
@user-hb9sb1ni4l
@user-hb9sb1ni4l Жыл бұрын
Почему нельзя спросить гласная буква или нет?
@user-os4os9lv1u
@user-os4os9lv1u 8 ай бұрын
Зачем?
@alexcan3559
@alexcan3559 2 жыл бұрын
2018(
@quantumofspace1367
@quantumofspace1367 3 жыл бұрын
.Творец из лучшего эфира, соткал живые струны мира и кванты музыки с квант струн, мы мыслями через очи пропуская, умом своим, фильтруя на уста и как через зеркальце, но отражаем, мир изобретателя слепца. -Царство хаоса из юных квант бутонов, где с лепестками квант мембран, свет энергией делясь, как «PIN кодом» от бутонов, информацию меняя в лепестках, Вселенную ускоряя - Расцветом плоских квант мембран «из квантов музыки собирая, фракталы танца квант частиц и в каждом движении танца - Квант частица, неопределённо вовлекает и отталкивает хаоса цветы из M-теории эфира». ,.,. Ну как то так, представьте энергию виртуальных частиц в танце фрактал и хаоса - как самое лучшее и худшие предсказания в современной физике, да и квантовую гравитацию, как смещение центров у квант бутонов в танце фрактал.
🍕Пиццерия FNAF в реальной жизни #shorts
00:41
ТАМАЕВ vs ВЕНГАЛБИ. Самая Быстрая BMW M5 vs CLS 63
1:15:39
Асхаб Тамаев
Рет қаралды 4,5 МЛН
Формула Шеннона
15:42
Ирина Волкова
Рет қаралды 29 М.
Что такое Энтропия?
8:59
Теперь Ты Знаешь
Рет қаралды 345 М.
7  ПАРАДОКСОВ БЕСКОНЕЧНОСТИ
36:02
Mathin
Рет қаралды 413 М.
КАК РАБОТАЕТ СЖАТИЕ?
27:37
Alek OS
Рет қаралды 84 М.
🍕Пиццерия FNAF в реальной жизни #shorts
00:41