La théorie de l'information de Claude Shannon - Passe-science #44

  Рет қаралды 105,171

Passe-Science

Passe-Science

Күн бұрын

Пікірлер: 169
@PasseScience
@PasseScience 2 жыл бұрын
Note 9:30: Le rapport 8 pour 3 n'est pas quantitatif, juste illustratif (je n'ai pas cherché l'entropie de Shannon exacte pour le français). Sur la remarque "il sera impossible de représenter 800 lettres en français en moins de 300 caractères", le premier point important est que cette remarque est valable en moyenne, il est évident que certains messages utilisant 100 fois le même mots peuvent être communiqués de manière plus compacte, mais c'est un cas particulier, pas le comportement moyen. Dans la modélisation de Shannon on réfléchit en terme de bloc, et d'un bloc au suivant les messages sont supposés indépendants, il y a donc une partie de la structure de la source que le modèle ne capture pas (la logique qu'il pourrait y avoir d'un bloc au suivant et qui permettrait d'économiser de la place durant la transmission). Il suffit pour traiter ce problème de considérer des blocs plus longs et l'entropie à la limite des blocs longs, mais comme ce comportement limite est inatteignable, on peut, dans certains cas de sources, avoir des méthodes de compression au-delà de la limite pratique de Shannon.
@camillebrugel2988
@camillebrugel2988 2 жыл бұрын
Une autre façon de dire la même chose: L'entropie de Shannon est optimale pour une source modélisée par une distribution sur un ensemble de messages. Si les messages ne sont pas indépendants et suivent par exemple une syntaxe/sémantique spécifique on peut faire mieux. Si l'influence de cette syntaxe/sémantique est "locale", considérer des blocs de messages plus longs permets de retrouver l’hypothèse d'une source modélisée par une simple distribution (sur les blocs de messages cette fois) et l'entropie des blocs est alors bien une borne optimale. NB: La syntaxe/sémantique dont il est question ici ne concerne pas le contenu des messages mais l'ordre dans lequel ils sont émis. Encore une petite remarque sur ce qu'on appelle les codecs. Vous en connaissez sûrement comme FLAC pour la musique ou gzip pour le texte. Ils ne se contentent pas de construire un arbre de questions équilibré (Huffmann, arithmetic coding, asymetric numeral systems) parce qu'il n'est pas faisable en pratique d'allonger les blocs de messages pour approcher la "véritable" entropie. Avant de construire l'arbre pour des blocs plus petits, ils appliquent des astuces spécifiques au medium qu'ils cherchent a compresser: l'algorithme LZ77 pour gzip et des prédicteurs linéaires avec codage de Golomb des résidus pour FLAC. A propos de la conclusion, la divergence KL ne forme pas une métrique au sens mathématique du terme parce qu'elle n'est pas symétrique. La divergence entre X et Y n'est pas la même que celle entre Y et X. Pour les matheux, la hessienne de la divergence KL permet de construire une métrique riemannienne appelée métrique de Fischer (magnifique :)). Merci beaucoup Thomas pour tout ce que fais. Je rêvais de voir une vidéo traitant de ces sujets et je n'aurai pu imaginer meilleure réalisation.
@foxzoolm8708
@foxzoolm8708 2 жыл бұрын
Sauf si vous avez un dictionnaire externe... Ou/et un graph linguistique. Plus généralement un lien mathématique entre les ''paquets''
@ATR316
@ATR316 2 жыл бұрын
il semble que la différence entre "interaction" et "information", soit la présence d'un observateur ou non dans l'équation. Je comprends maintenant quand vous disiez que le "hasard" pouvait émerger. Je vous avait recommandé David Elbaz, mais c'est beaucoup de vulgarisation pour arriver à Thanu padmanabhan & John wheeler... désolé.
@Bencurlis
@Bencurlis 2 жыл бұрын
Que dire sinon que cette chaîne est un canal presque parfait pour la communication de la science!
@Fred-nt8jq
@Fred-nt8jq 2 жыл бұрын
Dire bonjour par exemple c'est toujours un bon début
@Bencurlis
@Bencurlis 2 жыл бұрын
@@Fred-nt8jq On ne le dira jamais assez!
@luciferinremverso6860
@luciferinremverso6860 2 жыл бұрын
Merci de faire connaître Claude shannon. Un tres grand mathématicien américain. Il a fait aussi la théorie de l’entropie et de l’information en 1952 si la mémoire est bonne. Ce qui permet de clore le débat sur l’homéopathie.
@kalgon57
@kalgon57 Жыл бұрын
il y a besoin de ça pour clore ce débat ? intuitivement tout le monde comprend bien que la molécule active n'est plus présente dans le produit final, et qu'il y a toute sorte de déchets en petite quantité qui devraient avoir un effet homéopathique non souhaité :D je dis intuitivement mais ce calcul n'est pas dur, il est à la portée d'un élève de 4ème.
@Ali_PITCHO
@Ali_PITCHO 4 ай бұрын
Manière de cette explication rendre les choses plus abstraite ou énigmatique pour le grand peuple , lecture du cours est facile. Merci.
@theopantamis9184
@theopantamis9184 2 жыл бұрын
Une théorie toute aussi élégante qu'elle est importante. Ce que j'aime dans ta vulgarisation, c'est que bien que je connaisse bien ce sujet, tes petites illustrations donnent des points de vues auxquels j'avais pas pensé :p Donc merci et bonne continuation :p
@bazounet32
@bazounet32 2 жыл бұрын
Voilà un sujet qui me rappelle pas mal de souvenirs. Cet exposé est assez ambitieux pour un thème purement mathématique qui utilise autant de notions abstraites même si cela élargie après d'autant plus ses applications pratiques. Cette vidéo nécessitera quand-même plusieurs visionnages pour l'assimilation des néophytes. Merci en tout cas pour faire connaître un thème aussi intéressant et pourtant aussi peu vulgarisé.
@soteira_cks2034
@soteira_cks2034 2 жыл бұрын
Je ne connaissais Shanon que via le théorème d'échantillonnage. C'est un plaisir d'en apprendre plus sur les dessous de la représentation de l'information en informatique ! Merci pour cette vidéo !
@pierre-jeanmartin5621
@pierre-jeanmartin5621 2 жыл бұрын
J’allais faire le même commentaire
@caranlhug3099
@caranlhug3099 2 жыл бұрын
Tout ceci me remet en tête une autre application : les principes de compression optimaux, et le calcul d'entropie associé permettant d'évaluer la qualité du compresseur. J'ai ce truc appris à l'école et franchement c'est tellement génial que parmi pas mal de trucs que j'ai pu apprendre (et ça commence à faire loin), ça, je ne l'oublierai jamais!
@foxzoolm8708
@foxzoolm8708 2 жыл бұрын
Sauf que.. on est d'accord qu'un programme ne se compresse pas comme un texte. Mais il y a une logique dans les 2 cas. Pour un texte on pourrais par exemple rajouter le contexte de la phrase. Bah un code c pareille. La question qui se pose... Est ce pareille pour une image ou un son... (Spoil oui selon moi mais g aucune preuve sinon je serais milliardaire) D'où l'émergence actuellement de compresseur a base d'IA. Prévoir une farm a GPU et bien 10h pour un gain de qq %. Impossible de me rappeler le nom de l'algo 😭 ok ok ça remet pas en coz la théorie (pfff aller disons loi hein soyons fou). Une autre approche consisterait à voir du côté des nombres 1er ou des nombres type pi (je sais c la même chose)... Y a une probabilité qu'une séquence apparaissent dans pi plus proche que la taille de ca position + longueur. (Donc je t'envoie la position dans pi + la longueur de la séquence. Le but étant que c 2 infos soit plus courte que l'info en elle même quite a couper en morceaux) [spoil ne perd pas trop ton temps]
@geoffreyhuck-coach
@geoffreyhuck-coach 2 жыл бұрын
Je n'ai jamais pris le temps de voir ce dont il s'agissait même si j'ai vu passer la notion plusieurs fois. Merci beaucoup pour ce travail !
@Dheinamar
@Dheinamar 2 жыл бұрын
J’apprends le français, en partie en utilisant les vidéos sur les sujets quels m’intéresse. Lorsque c’est difficile de comprendre complexe idées mathématiques en langue étrangère, t’en fais le plus facile que possible. Merci beaucoup!
@PasseScience
@PasseScience 2 жыл бұрын
Merci beaucoup, et je precise pour information que certaines videos (dont celle ci) disposent de vrais sous titres en anglais et en Français.
@Dheinamar
@Dheinamar 2 жыл бұрын
@@PasseScience oui et j'ai les utilisé plusieurs fois :)
@ook99
@ook99 2 жыл бұрын
Vidéo passionnante! J'ai enfin compris comment fonctionnent les codes de correction (ce que je n'avais pas saisi en spé maths…). Merci!
@foxzoolm8708
@foxzoolm8708 2 жыл бұрын
Bah on te l'explique pas comme ça nn plus 🤣
@arthurbert976
@arthurbert976 2 жыл бұрын
Je ne connaissais pas du tout (seulement de nom), théorie très interessante qui devrait m'occuper quelques nuits encore. Merci !
@laurent-minimalisme
@laurent-minimalisme 2 жыл бұрын
Tellement lourd à chaque fois!! merci pour le partage :)
@Yakoable
@Yakoable 2 жыл бұрын
Excellent une fois de plus. De même qu'un autre commentaire, revisiter ce sujets m'apporte de la compréhension "intuitive", (celle qui permet de faire des liens entre les sujets), même en y ayant déjà réfléchi, merci pour ça. C'est un peu poussé et je suis désolé de faire une requête, mais pourrais-tu aborder la complexité de Kolmogorov ? On en est pas très loin là avec Shannon.
@chokriothmani3817
@chokriothmani3817 2 жыл бұрын
Bonne initiation à la science de l'information. Bravo
@ahoj7720
@ahoj7720 2 жыл бұрын
Très belle présentation d’un sujet que j’ai longtemps enseigné et que, curieusement, les probabilistes semblent ignorer, alors que c’est une belle application de la théorie. D’ailleurs, la démonstration complète du théorème de Shannon n’est pas élémentaire et nécessite de bonnes bases dans le domaine des probabilités.
@26yd1
@26yd1 2 жыл бұрын
Question de curiosité pour situer: Tu entend probabiliste dans un sens philo ou "personne qui fait des probas"? Et dans les deux cas, c'est quoi le -iste qui correspond à ce que tu enseignes/penses (et qui donc n'est pas un probabiliste ou qui est est un opposé) correspond?
@ahoj7720
@ahoj7720 2 жыл бұрын
@@26yd1 J'entends par "probabiliste" un mathématicien qui a pour domaine de recherche et d'enseignement la théorie des probabilités et (ou) des statistiques. Je suis moi-même mathématicien (avec des connaissances de base des probabilités, mais ce n'est pas mon domaine d'activités), j'ai enseigné la théorie de l'information dans un cursus d'informatique théorique (niveau bac+4/5, et ça n'était pas de la tarte pour les étudiants !)
@deecyrlysons3401
@deecyrlysons3401 2 жыл бұрын
J'étais en train de lire THE MATHEMATICAL THEORY OF COMMUNICATION et entre deux pages je vais sur youtube et voilà la notif! COOL!
@Lhenndyn
@Lhenndyn 2 жыл бұрын
Merveilleusement vulgarisé ! Merci !
@junioradi6554
@junioradi6554 Жыл бұрын
trop cool en explication ce monsieur. Big up !
@En_theo
@En_theo 2 жыл бұрын
Encore une excellente video, merci à toi ! Du coup, je me demande si il existe une équivalence stricte entre l'énergie et l'information ? Je sais qu'il avait été prouvé il y a quelques années qu'une quantité minimale d'information correspond à un minimum d'énergie, mais je n'ai pas vraiment trouvé une équivalence démontrée. Si je me souviens bien, l'entropie physique et la théorie de l'information avaient beaucoup de points communs. Il y avait aussi le fait qu'un ordinateur pouvait effectuer des calculs sans consommer d'énergie à condition que les calculs soient réversibles. Or on peut tout faire avec des calculs réversibles (jusqu'à preuve du contraire), c'est juste plus long. Ca serait un sujet intéressant pour une video.
@nicejungle
@nicejungle 2 жыл бұрын
Shannon + Turing = toute l'informatique moderne❤
@lemni1554
@lemni1554 2 жыл бұрын
Autour de 5:40, si je comprends bien, l'information contenue dans un message correspond en fait à la suite de réponses aux questions équilibrées qui permettraient de retrouver la pièce si celle-ci se retrouvait sous le gobelet associé au message. La probabilité d'un tel message est donc 1/2^n où n est le nombre de ces questions, et en fait si on note Q la quantité d'information d'un message et P sa probabilité on a Q=-log_2(P). Mais alors la quantité d'information contenue "en moyenne" par message c'est la somme des 1/N * Q, où N est le nombre de messages autorisés, et où Q parcourt l'ensemble des ces messages. Or dans la formule de l'entropie de la distribution, il s'agit d'une somme pondérée par les probabilités de chaque message. Au-delà du fait que cela ne correspond pas vraiment à ce que l'on entend par "en moyenne" dans l'usage courant du terme, la probabilité/qté d'information de chaque message joue visiblement deux fois dans la formule (dans le coefficient de pondération, et dans la quantité d'information)... Et cela perturbe mon intuition sur cette entropie !
@camillebrugel2988
@camillebrugel2988 2 жыл бұрын
Effectivement quand on parle de moyenne ici on devrait parler d'espérance suivant la distribution des messages (P). En fait ce qu'il fait imaginer c'est une source qui émets les messages suivant la distribution P. Et donc en moyenne la longueur des messages emits par cette source est bien égale à l'entropie. J'espère que je réponds bien a ta question...
@lemni1554
@lemni1554 2 жыл бұрын
@@camillebrugel2988 Ma question n'en était pas vraiment une, je témoignais plutôt de mes difficultés à me faire une intuition satisfaisante sur cette notion d'entropie... J'essayais de me raccrocher à l'interprétation en termes de "moyenne des longueurs" que nous donne Thomas, mais je suis un peu gêné par le fait que la quantité d'information de chaque message intervient deux fois dans le calcul : par la longueur du message, et par la probabilité qu'on lui accole. Cela dit, merci pour ta réponse, même si elle ne solutionne pas pleinement mon problème, elle m'offre une autre façon plus claire de voir les choses ^^
@shantiAya
@shantiAya 2 жыл бұрын
Merci pour cette vidéo! Une question que je me pose depuis quelques temps, quel est le lien entre l'entropie en physique et l'entropie de Shannon?
@niang46
@niang46 2 жыл бұрын
Cherche la vidéo de la collab entre Veritasium et Vsauce : What is not random. T'auras des réponses
@niang46
@niang46 2 жыл бұрын
Ou "What is random". Il y en a une sur chaque chaine
@lvlavericktheoutsider1090
@lvlavericktheoutsider1090 2 жыл бұрын
@@niang46 je me souviens avoir lu cela chez Hubert Reeves, je recherche également. La thèse étant je crois : "L'évolution cosmologique, un vaste cheminement de la complexité."
@Naheulf
@Naheulf 2 жыл бұрын
Cette vidéo confirme la réponse à une question que je me posait hier : non la recherche par dichotomie qui divise en deux parts égales (en nombre de message) la liste des possibilités n'est pas la méthode de recherche la plus rapide possible sur une liste trié d'éléments à peut près équitablement répartis les messages possibles. Sur une liste de 65535 éléments (2^16) j'arrive à mettre en moyenne 3.99 cycles pour trouver un élément contre en moyenne 14.97 cycles pour la recherche par dichotomie "naïve". Note : dans mon programme je vérifie à chaque cycle à la fois si c'est plus grand ou plus petit mais aussi l'égalité.
@jchristian3775
@jchristian3775 2 жыл бұрын
Merci pour la vidéo c'était vraiment trop bien, clair et intéressante de ouf, et ca fait longtemps que j'ai pas laissé de commentaires, donc merci aussi pour toutes les autres vidéos et le reste de ton taf
@GuiguiGamer03
@GuiguiGamer03 2 жыл бұрын
Vidéo de haute qualité, merci beaucoup :D
@defgt432
@defgt432 2 жыл бұрын
Fascinant !
@PafLeRenard
@PafLeRenard 2 жыл бұрын
Excellente vidéo ! Merci beaucoup pour votre travail !!
@AtheosAtheos
@AtheosAtheos 2 жыл бұрын
J'ai mal au cigare mais ça valait la peine.
@NEBREUELPHFTARRRR
@NEBREUELPHFTARRRR 2 жыл бұрын
C'était un de mes cours préféré à l'université
@Ablatius
@Ablatius 2 жыл бұрын
Pareil pour moi. Ce cours m'avait passionné, non seulement par la beauté de la théorie, mais aussi par la qualité pédagogique du prof qui l'enseignait.
@Algneo
@Algneo 2 жыл бұрын
J'appréciais pas trop bizarrement. Je trouvais qu'à la fois le sujet avait quelque chose de fondamental - essayer de définir l'information - et qu'en même temps il était abordé via un prisme trop concret : la communication, les codes-correcteurs, la transmission via un canal etc. Ça me laissait perplexe, autant tenter de définir l'information m'intéressait, mais savoir comment transmettre un message pour éviter les erreurs, bof, c'était trop "appliqué" pour moi. J'aurais peut-être plus apprécié je pense si ça avait été abordé par un prisme statistique pur, en parlant de distribution mathématiques et compagnie.
@sitrakaforler8696
@sitrakaforler8696 2 жыл бұрын
La BBC avait fait une vidéo dessus il me semble et c'était génial! Top vidéo au passage!
@foxzoolm8708
@foxzoolm8708 2 жыл бұрын
Ce qui est drôle c que la BBC propulsais un algo de compression d'image (dirac il me semble) qui ne se base justement pas sur ça... Après c des math trop chelou pour moi... J'ai peut être rien compris....
@raphaelnej8387
@raphaelnej8387 2 жыл бұрын
c’est extrêmement intéressant merci
@amphibie
@amphibie 2 жыл бұрын
Il existe une distribution statistique sacrément inhomogène: c'est quand Passe-science entre dans un bistro.... l'intelligence moyenne explose à la hausse et son écart type se réduit comme neige au soleil 😇
@lowgn9251
@lowgn9251 2 жыл бұрын
Passionnant !! Bravo 👏🏻😀
@watsat
@watsat 2 жыл бұрын
Et si on parlait de... Mais avec plaisir ! Et tu peux bien mettre ce que tu voudras à la place des points de suspension si tu le fais avec autant de talent.
@bakhugokatsuki5054
@bakhugokatsuki5054 2 жыл бұрын
Bonjour, je n'ai pas bien compris la manière optimale de corriger l'information des minutes 18:00 à 19:00, est-ce que vous pouvez me réexpliquez comment arranger un message codés en 6 bits pour que l'on sache à chaque coup quel était le vrai message envoyé à l'origine et comment cela fonctionne s'il-vous-plaît ?
@PasseScience
@PasseScience 2 жыл бұрын
Hello, déjà il faut savoir qu'il n'y a aucun système de correction d'erreur qui garantit à 100% de déduire le message d'origine, on peut toujours être extrêmement mal chanceux et avoir par exemple une erreur sur chaque bit du message (il n'y a aucune solution contre cela). Donc on cherche toujours un système de correction qui soit statistiquement bon (puisqu'on ne peut pas faire parfait). Ici on a 8 messages possibles de 3 bits, qu'on encode selon le tableau montré dans la vidéo 18:33 en 8 messages 6 bits. Des messages 6 bits, au total, il y en a bien davantage que 8, il y en a 64, mais donc seulement 8 particuliers parmi eux qui correspondent à un message de 3 bits encodé par notre protocole. Donc si tout se passe bien, et qu'on a pas d'erreur sur la ligne, on reçoit toujours côté décodeur un des 8 messages 6 bits particuliers parmi les 64 possibles. On va appeler "mot clef" ces 8 messages particuliers. Maintenant que se passe-t-il lorsqu'il y a des erreurs? he bien on va recevoir des messages de 6-bits côte décodeur qui ne sont potentiellement pas des mots clefs, et l'algorithme de correction est simple: on cherche le mot clef le plus proche, en nombre d'erreur, de ce qu'on reçoit et on fait comme si c'était celui qu'on avait reçu. Par exemple si on reçoit 000001 ce n'est pas un mot clef d'après le tableau 18:33 mais le mot clef le plus proche est 000000 car il ne se trouve qu'à une erreur (sur le dernier bit) du message reçu, alors que par exemple 001011 (2eme mot clef du tableau) se trouve plus loin, à 2 erreurs près, du message 000001 reçu. Bien sûr ça ne fournit pas de certitude, ça ne fait que maximiser les chances, mais on sait qu'il y a toujours plus souvent 1 erreur que 2, plus souvent 2 erreurs que 3 etc... dans le cas où on a 0 ou 1 erreur, ce protocole marche systématiquement, parce que les mots clefs sont choisis de manière à faire en sorte que si on reçoit un message 6 bit avec une erreur, on aura qu'un seul des mot clef qui se trouve a 1 erreur de lui. (contrairement à la méthode naïve d'avant avec le tableau 18:00). En pratique ici on a encore pas mal de chance de se tromper, mais ca vient du fait que l'exemple est petit, en vrai on procède avec des chaînes beaucoup plus longues, ce qui, comme je l'explique plus tard dans la vidéo, d’après le théorème de Shannon, fait tendre la probabilité de se tromper vers 0. C'est plus clair?
@bakhugokatsuki5054
@bakhugokatsuki5054 2 жыл бұрын
@@PasseScience oui, merci beaucoup !
@NinangMinko-vo3fo
@NinangMinko-vo3fo Жыл бұрын
Bonne présentation. Je pleinds toutefois le fait qu'il y ait trop de chiffres/de statistiques.
@dgrandlapinblanc
@dgrandlapinblanc 2 жыл бұрын
Pas évident. Merci quand même.
@monsieurtoulemonde6371
@monsieurtoulemonde6371 2 жыл бұрын
C'est très intéressant, mais je dois avouer être frustré de ne pas avoir compris une grande partie de la vidéo. Je me demande si cette théorie n’aurait pas méritée d'être traitée en plusieurs fois pour que les personnes étrangères au domaines puissent apprécier pleinement les différentes idées qui y sont présentées.
@PasseScience
@PasseScience 2 жыл бұрын
Bonjour, on peut déjà commencer par quelques questions. La méthode que je suggère c'est de s'arrêter au premiere moment ou il y a un doute et de poser une question à ce moment la. Je recommande de poser les questions en nouveau commentaire (un nouveau commentaire par question) donc pas en réponse à celui ci. Comme cela tout le monde profite de la question et de la réponse. Oui je pourrais faire plus de contenu, mais il faut faire aussi un choix, ici c'est environ 40h de travail, si j'en faisais 3 il faudrait plus de 100h :)
@26yd1
@26yd1 2 жыл бұрын
@@PasseScience Je vois personne le faire mais avec la mème quantité de travail, tu peux sortir cette vidéo ou n'importe quelle autre en deux formats: celui la, un épisode, et une version découpée avec 1 idée par vidéo, sortie planifiée par exemple tous les deux jours.. je pense que le milieu de la vulga corsée y gagnerait. Globalement les problèmes de compréhension qu'un novice va avoir avec une vidéo de ce type, ou celles de Lé mais plutot avant (justement j'ai l'impression que Lé fait des vidéo avec une seule idée à l'intérieur maintenant), c'est pas a cause du contenu intrinsèque mais des influences externes, statistiquement peu de gens vont prendre le temps de re-re-regarder, pauser, stopper, réfléchir, garder l'onglet, revenir demain etc... par flemme et praticité, temps accordé, puis beaucoup de gens ont un attention-span assez court, peut-être mème (je dis ça par intuition, un peu au pif) que dans un public excessivement nerd y'a plus de TDAH que la moyenne. Personellement, je dirais que paradoxalement tu es une des chaines de vulga les plus importantes et bien faites du youtube FR mais j'en regarde en gros 1 sur 4 du début à la fin la ou ça touche ce que je maitrise déja assez bien et qui me passionne. La ça me passionne mais trop vite perdu, et ce que j'en retiens c'est les bases de début de vidéo utiles à implémenter dans ma vision globale du monde (genre "l'info à une entropie" ou "donc l'entropie peut se calculer en bits"), mais ça bloque dès qu'on entre vraiment au cœur du sujet. Je pense que c'est un témoignage qui doit être assez représentatif des novices ou alors de ceux qui ont des problèmes avec les maths. Après je dis pas que ton format serait mieux si il était différent, t'es complémentaire à El JJ, Science Etonnante, Science Clic et Vlanx, c'est important la vulga qui pousse plus loin dans le technique, mais sans ajouter du contenu tu peux penser en terme d'accessibilité appropriée à ton niveau de complexité.
@PasseScience
@PasseScience 2 жыл бұрын
@@26yd1 Oui, c'est mon placement, ma "niche", c'est volontaire. La vulgarisation c'est une échelle, mais une échelle ca part d'un certain point vers un certain autre, rien impose que le premier point soit le plus bas possible. S'il faut prendre une autre échelle avant alors c'est possible ailleurs. Oui dans mes vidéos il faut faire potentiellement pause pour réfléchir et comprendre mais personnellement je considère que si le spectateur fait pause pour réfléchir c'est un succès et non un échec, car on rentre dans l'apprentissage actif, je montre la porte, le spectateur la franchit. Beaucoup de sujet sont inaccessible autrement, meme avec plusieurs heures de vidéos à la place de 30 minutes et découpé en petit segment, on ne peut pas appliquer l'apprentissage "passif" aux idées profondes; il faut à un moment ou l'autre, se les approprier, faire pause et prendre l'habitude de questionner sa propre compréhension pour en juger la robustesse et la cohérence, sinon il n'y a au mieux qu'une illusion de comprehension.
@sobriquet
@sobriquet 2 жыл бұрын
@@PasseScience Tiens c'est marrant, avec ta méthode, si tu demandes à chacun de tes viewers de te dire combien de questions ils se sont posés en regardant la vidéo, tu peux estimer l'entropie de ta vidéo :)
@pascalvaddos8641
@pascalvaddos8641 2 жыл бұрын
Certains créationnistes prétendent que le code génétique est optimisé en termes de distance de Hamming, ce qui serait la preuve de son origine intelligente. Est ce une optimisation en dehors des capacités de l évolution?
@PasseScience
@PasseScience 2 жыл бұрын
Hello, le code génétique est en effet optimisé pour la correction d'erreur oui, il n'y a pas que les créationnistes qui le prétendent, c'est consensuel. Il est cependant loin d’être maximalement optimisé (on pourrait faire mieux) mais la correction d'erreur c'est un seul aspect, il est tout a fait possible que ce qui soit optimisé soit un compromis subtile, par exemple pour économiser certains composés chimiques rares. Il n'y a absolument aucune raison pour que ce type d'optimisation soit hors de porté de l’évolution, c'est meme plutôt un detail en comparaison à ce que l’évolution a su produire. Sur l’évolution du code génétique vous pouvez voir cet article qui récapitule un peu tout: www.ncbi.nlm.nih.gov/pmc/articles/PMC3293468/ notamment la figure 3 qui illustre le fait qu'on puisse faire mieux (Au moins sur certain aspects)
@pascalvaddos8641
@pascalvaddos8641 2 жыл бұрын
@@PasseScience Merci, la figure est très claire. Je vais m atteler à la lecture de l article. Bonne continuation, vidéo excellente, comme toujours!
@dingiding2614
@dingiding2614 2 жыл бұрын
Hello ! Suis désolé, la question va paraître stupide. Mais, pour le truc d'Alpha Zero, la distribution prédite par l'IA est imparfaite car elle apprend, ça d'accord. Mais en pratique la distribution réelle on y a pas accès, alors comment utiliser la cross entropie ou la divergence ? Naïvement, je pensais juste que Alpha Zero jouait un grand nombre de parties contre lui-même, et finissait par devenir bon.
@PasseScience
@PasseScience 2 жыл бұрын
Hello, non au contraire la question est très intéressante. Dans le cas d'alphazero (et des autres IAs selon le meme modèle) ce qu'on considère être la distribution réelle à un instant donné c'est ce que ca recherche arborescente a produit ou alors ce qu' un échantillon de beaucoup de parties contre elle meme a produit. Depuis une position donnée il y a un appel au réseau de neurone qui doit donner des probabilités au coups, mais le coup qui est effectivement joué par l'ia (contre elle même) c'est le résultat d'une recherche arborescente, (dans le cas d' AZ c' est du MCTS ou de la meme famille). Du coup, à l'issue de la recherche arborescente, il y a une nouvelle distribution sur les prochains coups (appelons cela la distribution issue de la réflexion), et AZ veut faire en sorte que sa distribution instinctive colle le maximum à cette distribution avec réflexion (recherche arborescente). Donc dans son training AZ cherche en permanence à aligner son "instinct" sur ce qu'il finit par conclure (après réflexion arborescente) ou finit par jouer, et c' est la cross entropie entre la distribution issue de cet instinct et celle issue de la réflexion qu'on veut diminuer. AZ c'est un réseau de neurone d'instinct, un réseau de neurones devaluation et un moteur de recherche arborescente (MCTS), le moteur utilise les 2 autres réseaux, et les 2 réseaux sont mis à jour en fonction des conclusions du moteur qui les utilise. La partie moteur permet de consolider de nombreux appels à l'instinct et l'evaluation et donc d' avoir mieux qu'un seul appel, puis on tente de faire apprendre l'instinct et l'evaluation pour qu'il colle à ce mieux. C'est clair?
@dingiding2614
@dingiding2614 2 жыл бұрын
@@PasseScience Bordel tu réponds vite x) Oui, c'est limpide. J'imaginais en fait un seul réseau de neurones qui donnait le coup à jouer, mais c'est plus malin que ça. Du coup forcément je comprenais pas avec quoi comparer la distribution instinctive de AZ. J'imagine aussi mieux les mécanismes sous-jacents au "il s'entraîne en jouant contre lui-même", c'était un peu flou. Merci pour ta réponse rapide.
@lecokase
@lecokase 4 ай бұрын
À 3:38 l me semble que cette technique ressemble à celle utilisée par les services de santé de l’armée américaine, qui l’employaient pour économiser et réduire le nombre d’analyses sanguines des soldats susceptibles d’avoir contracté une IST pendant la guerre du Vietnam. Les médecins regroupaient les prélèvements sanguins des soldats par escadron et réduisaient le nombre de tests individuels si un groupe était positif. Ingénieux. ! Je ne sais pas si je suis clair
@companiaarteaigua6872
@companiaarteaigua6872 Жыл бұрын
Magnifique
@Anonyme-car-trop-de-cons
@Anonyme-car-trop-de-cons Жыл бұрын
Trop compliqué pour moi, ça me semble plus destiné à ceux qui travaillent sur la compression de données informatiques ou peut être sur les ordinateurs quantiques.
@bbbenj
@bbbenj 2 жыл бұрын
Velu mais intéressant, merci 👍
@RogerArbogast
@RogerArbogast 2 жыл бұрын
Je suis pas sûr d'avoir tout compris. Faudra que je refasse un visionnage quand mon cerveau se sera remis du premier
@ilovekog
@ilovekog 2 жыл бұрын
Excellent! Continue! :)
@foxzoolm8708
@foxzoolm8708 2 жыл бұрын
Devenez milliardaire en inventant un code correcteur d'erreur plus efficace que le turbocode (très loin des limites théorique) Bon courrage...
@gauthiersornet6051
@gauthiersornet6051 2 жыл бұрын
Balaise tes vidéos. Il faut s'accrocher un peu mais ça a le mérite d'aborder des sujets supers intéressants. Il me semble que la pédagogie est bonne mais le niveau du sujet est assez élevé et donc à ne pas regarder en beurrant des tartines si vous n'êtes pas déjà à l'aise avec les concepts alentour ;) Merci à toi de partager ça :)
@PasseScience
@PasseScience 2 жыл бұрын
Merci! Oui c'est de l'apprentissage "actif", le spectateur doit faire un pas de lui meme, Souvent en mettant pause :) Mais ca permet d'avoir une comprehension plus profonde (et moins illusoire).
@jpp2310
@jpp2310 2 жыл бұрын
J'étais surpris en rentrant dans le monde du travail que les 3/4 des informaticiens que j'ai côtoyé ne connaissent pas la théorie de l'information. Shannon est surtout connu pour le théorème d'échantillonnage qui n'est qu'une partie de sa théorie.
@gaiusbaltar7122
@gaiusbaltar7122 2 жыл бұрын
Il n'est pas nécessaire, et même pas spécialement utile, de connaître ce genre de théorie pour faire son travail d'informaticien dans l'immense majorité, voire la quasi-totalité des cas.
@GamingDesCavernes
@GamingDesCavernes 2 жыл бұрын
@@gaiusbaltar7122 Pas faux. Un informaticien aujourd'hui, c'est souvent quelqu'un qui empile des bibliothèques, des frameworks et des bases de données pour créer une application. Bref le métier est devenu totalement inintéressant d'un point de vue théorique, ou même technique.
@gaiusbaltar7122
@gaiusbaltar7122 2 жыл бұрын
@@GamingDesCavernes Je m'inscris totalement en faux contre ce que vous dites là, tant dans la globalité que dans le détail. Du reste, le terme "informaticien" ne veut pas dire grand chose, tant la diversité des métiers et des missions est grande dans le domaine. Par exemple, ici, vous semblez confondre le métier de développeur (dont vous donnez une vision assez caricaturale) avec celui d'"informaticien" en général.
@GamingDesCavernes
@GamingDesCavernes 2 жыл бұрын
@@gaiusbaltar7122 Il y a au moins un point sur lequel vous avez raison : j'ai dit "informaticien" au lieu de "développeur". Quant au côté "caricatural" (ou pas) de cette vision, elle vient des développeurs eux-mêmes. PS : et j'en ai formé suffisamment pour savoir de quoi il retourne.
@gaiusbaltar7122
@gaiusbaltar7122 2 жыл бұрын
@@GamingDesCavernes A mon avis, vous confondez aussi développeur et développeur web.
@Fine_Mouche
@Fine_Mouche 2 жыл бұрын
26:38 : Mais c'est impossible de calculer les proba réel, il faudrait calculer sur tous les coups possible, ce que les ordis actuels ne peuvent pas encore faire. (sauf quand il reste moins de 7 pieces au jeu d'échec)
@PasseScience
@PasseScience 2 жыл бұрын
Je copie colle une reponse que j'ai faite a un autre commentaire. (je l'adapte pas mais ca devrait repondre a la tienne): Hello, non au contraire la question est très intéressante. Dans le cas d'alphazero (et des autres IAs selon le meme modèle) ce qu'on considère être la distribution réelle à un instant donné c'est ce que ca recherche arborescente a produit ou alors ce qu' un échantillon de beaucoup de parties contre elle meme a produit. Depuis une position donnée il y a un appel au réseau de neurone qui doit donner des probabilités au coups, mais le coup qui est effectivement joué par l'ia (contre elle même) c'est le résultat d'une recherche arborescente, (dans le cas d' AZ c' est du MCTS ou de la meme famille). Du coup, à l'issue de la recherche arborescente, il y a une nouvelle distribution sur les prochains coups (appelons cela la distribution issue de la réflexion), et AZ veut faire en sorte que sa distribution instinctive colle le maximum à cette distribution avec réflexion (recherche arborescente). Donc dans son training AZ cherche en permanence à aligner son "instinct" sur ce qu'il finit par conclure (après réflexion arborescente) ou finit par jouer, et c' est la cross entropie entre la distribution issue de cet instinct et celle issue de la réflexion qu'on veut diminuer. AZ c'est un réseau de neurone d'instinct, un réseau de neurones devaluation et un moteur de recherche arborescente (MCTS), le moteur utilise les 2 autres réseaux, et les 2 réseaux sont mis à jour en fonction des conclusions du moteur qui les utilise. La partie moteur permet de consolider de nombreux appels à l'instinct et l'evaluation et donc d' avoir mieux qu'un seul appel, puis on tente de faire apprendre l'instinct et l'evaluation pour qu'il colle à ce mieux. C'est clair?
@Fine_Mouche
@Fine_Mouche 2 жыл бұрын
@@PasseScience ok mais cela ne retire pas le soucis, imaginons que l'instinct colle parfaitement à la réflexion, ben la réflexion n'est qu'un sous ensemble de l'omniscience (savoir tous les cas possible), donc si la réflexion explore par malchance des mauvaises branches ben l'instinct sera biaisé aussi.
@PasseScience
@PasseScience 2 жыл бұрын
@@Fine_Mouche "l'instinct colle parfaitement à la réflexion" Ca peut tres difficilement arriver dans la mesure ou le resultat de la reflexion consiste en une aggregation de milliers d'appels à l'instinct et a l'evaluation sur tout un arbre (demande toi la chance qu'il te faudra pour que ta reflexion 1 seconde sur une position soit egale a celle au bout d'une semaine a l'etudier). Mais il y a tout de meme des cas problematiques ou l'IA se mettrait a converger vers une forme de theorie imaginaire du jeu, qui ne colle plus vraiment a la realite, mais qui est coherente avec sa conception à elle. Pour eviter ce type de minimum local (mais faut quand meme se lever tot pour tomber dedans) on ajoute du bruit à l'instinct qui est appeler dans la construction de l'arbre de reflexion (ce qui donne un tradeoff exploration pour verifier ou decouvrir, en dehors de l'exploitation de sa connaissance). Et pour etre certain que l'evaluation n'est pas fumee, certaines parties, au hasard, seront jouées jusqu'a l'issue, et donc l'evaluation finale est connue (partie gagnee perdue ou draw).
@Fine_Mouche
@Fine_Mouche 2 жыл бұрын
@@PasseScience vous oubliez le "imaginons que", je me plaçais donc dans le cas extreme pour illustrer que même un instinct parfait n'est garant de qualité, se reposant sur la réflexion, c'est donc elle le plus important je pense. Après vous me répondez assez bien, donc cela me va. votre "Mais il y a tout de meme des cas problematiques ou l'IA se mettrait a converger vers une forme de theorie imaginaire du jeu, qui ne colle plus vraiment a la realite, mais qui est coherente avec sa conception à elle." était justement ce dont je parlais avec mes mots.
@victorburgosfernandez1334
@victorburgosfernandez1334 2 жыл бұрын
a quelle vitesse voyage l'information ?
@PasseScience
@PasseScience 2 жыл бұрын
Hello, je precise que cette question et sa réponse n'a rien à voir avec la theorie de Shannon, mais physiquement, la vitesse maximale de propagation de l'information (ou de la causalité) c'est la vitesse de la lumière. (En fait en physique, lorsqu'on refere à la vitesse de la lumière, on parle plutôt de cela, de la vitesse maximale de la causalité, qui se trouve être aussi celle de la lumière)
@Fine_Mouche
@Fine_Mouche 2 жыл бұрын
4:35 : mais du coup si on prend N tres grand, toute les proba tendent vers 0, donc comment on fait ? Regarde-t-on le ratio entre les 4 proba, qui donne des nombres plus lisible j'imagine : p(A)=A^n/(A^n+B^n+C^n+D^n) Vs P(B)=B^n/(A^n+B^n+C^n+D^n) Vs P(C)=C^n/(A^n+B^n+C^n+D^n) Vs P(D)=D^n/(A^n+B^n+C^n+c^n) et on construie l'abre de questionnement de la plus grande proba à la plus petit, non ?
@PasseScience
@PasseScience 2 жыл бұрын
Il ne faut pas reflechir à la limite mais voir vers quoi ca tend, vers des petites quantites qui seront de plus en plus facile a equilibrer dans l'arbre de question. En pratique ce cas ne sert qu'a donner un sens intuitif à la quantite qu'on cherche lorsque ca ne tombe pas pile (les cas avec les puissances de 2 avant ca tombe pile, pas besoin de lisser avec N manches). En pratique il suffit d'appliquer la formule avec la somme ponderée des logs, que je montre un peu apres, pour avoir la valeur de l'entropie de Shannon. (et du coup il faut juste savoir que ca correspond a ce vers quoi on convergerait si on procedait N manches en meme temps dans les cas ou ca tombe pas pile, mais en pratique ca se calcule sans soucis avec la meme formule que les cas qui tombe pile). Donc ce passage sur proceder N manches en meme temps, sert juste a donner une idee intuitive du sens de "lisser" cette idee du nombre moyen de questions, lorsque les proba tombent pas pile.
@Fine_Mouche
@Fine_Mouche 2 жыл бұрын
j'ai conscience que ce que je dis est bancale.
@Fine_Mouche
@Fine_Mouche 2 жыл бұрын
@@PasseScience je me suis édité, dites moi si ma pensé est un peu plus correct, en ayant conscience qu'en réalité on fait avec la formule : Somme de 1 à n de( Pi x log2(Pi) ) ou Somme de 1 à n de( Pi ) x log2(Pi) , car je ne sais pas jusqu'où s'arrete la sommation dans la formule.
@Fine_Mouche
@Fine_Mouche 2 жыл бұрын
ok c'est toute la formule, car il y a un P 'i' dans le log.
@PasseScience
@PasseScience 2 жыл бұрын
La formule en fait est assez facile a expliquer avec mes analogies d'avant (d'ailleur je regrette de ne pas l'avoir fait dans la video). log(Pi) ca correspond au nombre de question pour atteindre l'occurence du message i (Dans l'arbre optimal), donc un evenement tres rare, est souvent tres profond dans l'arbre de question. Et faire la somme de ces log, ponderée par la proba de chaque message, ca revient a exprimer le nombre de questions en moyenne necessaire (toujours dans l'arbre optimal) si la source presente les messages dans les proportions indiquees. (Faut prendre le temps d'y reflechir, mais avec un schema comme celui à 6:19 ca doit sembler en fait tres clair ce que la formule calcule). Apres il se trouve que dans les cas ou les proba "tombent bien" ca va donner le meme resultat que dans les premiers exemple dans la video (avec les 1/4 1/2 1/8 etc...) et que lorsque les probas forcent a gacher, le resultat de la formule, correspond a ce qu'on aurait en moyenne par message si on pouvait les grouper pour construire notre arbre de questions.
@lvlavericktheoutsider1090
@lvlavericktheoutsider1090 2 жыл бұрын
Je recherche "La Théorie de l'Information".... se voulant démonstrative du raisonnement : "l'information croit avec l'entropie" dans un schema cosmologique, depuis la naissance des structures Sub-atomique jusqu'au RedShift Multiverselle... (ou je ne sais pas quoi, justement je cherche)
@PasseScience
@PasseScience 2 жыл бұрын
Hello, dans la version de Shannon, ci dessus, il y a une notion d'entropie (mathématique, pas physique meme si ca semble très proche) et plus cet entropie est élevée (définie pour une distribution de probabilité) plus des messages pris dans cette distribution permettent de communiquer de l'information. (Voir mon exemple avec le français). Si c'est à propos de la notion physique d'entropie, j'invite à voir la vidéo sur le sujet ici: kzbin.info/www/bejne/qHmsgYB-hMSnhKM Au sens de Boltzmann, l'entropie physique d'un système correspond à la taille de l'espace des micro états qui correspondent à notre état macroscopique observé (par exemple toute chose étant égale par ailleurs, si on met un gaz dans un volume plus gros, ya beaucoup plus de positions possibles pour chacune de ses particules que sans, c'est une augmentation d'entropie). Ainsi au sens physique, plus un système est entropique et plus il faudrait d'information (au sens classique du terme) pour décrire intégralement son état (de tous ses constituants élémentaires). Ca répond à la question?
@talebsalim3942
@talebsalim3942 2 жыл бұрын
Apprendre à mesurer l’écart entre la croyance et les faits, pour l’appliquer à une croyance semblable, on apprend ça aux gosses ? c’est pas interdit? Bravo! non sans blague Bravo pour la vidéo :)
@monsieurhics4684
@monsieurhics4684 2 жыл бұрын
Super !!
@Kikoutlm
@Kikoutlm 2 жыл бұрын
Tout cela à l'air fort intéressant, mais j'ai rien compris 😅
@GH-li3wj
@GH-li3wj 2 жыл бұрын
Question: est ce que l'information contenue dans un système ou un message se conserve avec le temps? la réponse est non, au cours du temps le système ou le message perdra de l'information, il se bruitera d'avantage, autrement dit tout système ou message perd de sa complexité , il se simplifie avec le temps, ce qui est lié à l'irréversibilité des processus physiques, comme le message aura perdu de l'info on ne pourra pas remonter au message initial. Etonnant, j'ai encore entendu des physiciens comme E Klein, Barrau etc dire le contraire voir le paradoxe de l'info. kzbin.info/www/bejne/hKnOZXZ5pM6LqrM ou alors les physiciens ont une autre définition de l'info? mais alors laquelle?
@PasseScience
@PasseScience 2 жыл бұрын
Hello, ce n'est pas vraiment une autre définition de l'information c'est surtout qu'il n'est pas vraiment question de la même chose. En fait, vous, vous référez à l'information utile, alors que les physiciens dont vous parlez réfèrent à l'information tout court. Par exemple, supposons que je sauvegarde le message aaaaaaaaaaaaa, avec le temps comme vous dites il va se bruiter, c'est-à-dire devenir potentiellement sdkmskfposkfd. Ce n'est pas "moins complexe" ce qu'il est devenu est PLUS complexe, mais la partie utile de l'information a cependant disparu. Pour vous rendre compte que le message gagne en information (pure) avec le temps, demandez vous s'il est plus facile de communiquer 1000 fois la lettre "a" ou une suite aléatoire de 1000 caractères. Pour communiquer 1000 fois "a" il suffit de dire que c'est cela, juste "1000 fois a", mais pour communiquer le message une fois bruité, ca sera bien plus difficile, vous aurez besoin de communiquer davantage d'information. Ce à quoi vous référez vous c'est en fait l'information mutuelle au sens de Shannon (comme je montre dans la vidéo) entre le futur du message et son état initial (et c'est le temps qui joue le rôle de canal), alors que les physiciens réfèrent uniquement au message produit par le temps, le bruit complexe, sans se soucier de la part commune de l'information avec le message original.
@GH-li3wj
@GH-li3wj 2 жыл бұрын
@@PasseScience La seule def de l'info que je connais est celle de Shannon que tu donnes 6:21. Dans ton exemple, en reprenant la def de l'info de shannon, si je calcule l'info contenue dans un message contenant N fois "a" ça aurait pu être b ou z sa proba est 1/n ou dans celui avec N lettres tirées aléatoirement parmi n j'ai la même quantité d'info c'est Info_min=N*log(n) dans les 2 cas .En revanche si il se trouve qu'il y ait une lettre plus probable qu'une autre ce qui est le cas d'un texte écrit alors on a son information qui sera toujours supérieure à info_min. Et avec le temps ce texte contenu dans ce message message écrit aura sa distribution des lettres qui tendra vers la même valeurs pour toutes les lettres à savoir 1/n et on aura alors l'info du message qui tendra vers la valeur min de l'info. ce sont les maths. Donc j'en reviens à la même conclusion, suivant la def de Shannon, le message contiendra de moins en moins d'info jusqu'à une valeur min au cours du temps, autrement dit il se simplifie, il y a donc perte d'info ou simplification au cours du temps.
@camillebrugel2988
@camillebrugel2988 2 жыл бұрын
Que l'on écrive sur le dernier SSD de Samsung ou bien avec un roseau sur une tablette en argile il y a 5000 ans le message inscrit va se dégrader par via des processus thermodynamiques jusqu’à devenir illisible en pratique. Ce que veulent dire les physiciens lorsqu'ils affirment que l'information se conserve, c'est que selon les modèles dont on dispose, l'information n'a pas vraiment disparue, elle s'est seulement dispersée dans l'univers au point qu'il est pratiquement impossible de reconstituer le message initial.
@PasseScience
@PasseScience 2 жыл бұрын
@@GH-li3wj Vous dites *si je calcule l'info contenue dans un message contenant N fois a* , ceci, dans la théorie de Shannon, n'a pas de sens, on ne peut pas calculer la quantité d'information d'un message seul hors contexte, on calcule l'information moyenne par message lorsque ceux ci sont inclus dans une distribution donnée. A priori ce que vous faite ce n'est justement PAS un calcul d'entropie de Shannon (justement pas ce que je montre dans la vidéo) mais un calcul de self-information, c'est bien une notion d'information pour un seul message mais la aussi elle n'est pas définie sans distribution donnée (et je ne comprend pas bien le cadre que vous placez et qui est nécessaire pour que ces quantités prennent sens). Lorsqu'on a un message de proba p la self-info est -log(p) (plus il est rare plus il contient d'information) et l'entropie de Shannon c'est la self information moyenne pondérée par la probabilité de chaque message donc -SUM(Pi*log(Pi)). Dans une distribution inhomogène, les messages rares ont une self info très élevée mais leur contribution dans l'entropie de Shannon est très faible (puisque leur pondération l'est aussi). Le contenu moyen par message de la distribution (l'entropie de Shannon), est donc lui plus faible que dans le cas équilibré qui est précisément celui qui maximise cette grandeur. (dans la vidéo je montre précisément le cas de la distribution de symbole binaire 70% 30% qui est 0.88 là où par définition 50%50% donnerait une entropie de 1 bit). Quoi qu'il en soit, pour qu'on puisse discuter d'un cas précis il faut fixer 1) un ensemble de messages (ce qui sort régulièrement d'une source) 2) une distribution, et dire si vous parlez d'entropie de Shannon pour la distribution ou de self-information d'un message donné et il faut du coup préciser lequel, mais dans tous les cas il faut commencer par 1 et 2.
@GH-li3wj
@GH-li3wj 2 жыл бұрын
@@PasseScience J'ai précisé le contexte, vous avez choisi la lettre " a " sur quel critère? aucun! donc c'est une lettre choisie parmi un alphabet de n symboles (n dépend de votre clavier peut être) donc entropie contenu dans votre message de N lettres dans tous les cas est bien N.log(n) si on raisonne en bit. Alors que si on prend un texte écrit l'entropie calculée sera toujours plus faible que N.log(n) (ou plus grande si on parle de l'info), parce que la distribution des caractères n'est pas uniforme. Au cours du temps la distribution devenant uniforme, l'entropie croitra vers ce maximum. Faites l'essai vous verrez bien.
@Gryffoon
@Gryffoon 2 жыл бұрын
J'ai mal à la tête
@ao9779
@ao9779 2 жыл бұрын
je n'ai pas encore regardé la vidéo en entier mais je sais que ça sera très bien comme à l'acoutumée. Par contre j'aurais une recommandation à te faire. Le fond de ta vidéo il est principalement blanc. Ca serait sans doute plus judicieux de l'avoir à l'inverse plus sombre. parce que moi, par exemple (mais j'imagine pas être le seul) ben quand j'ai le temps de regarder tes vidéos c'est avant d'aller dormir. et un fond blanc comme ça, ça éclate les yeux.
@PasseScience
@PasseScience 2 жыл бұрын
Hello, sombre je n'ai pas trop de solution mais je peux en revanche tenter de casser le blanc d'avantage (le faire plus beige-gris qu'il n'est). Tu regardes sur quel type d'appareil? télé? laptop? telephone? (perso avant de dormir je baisse toujours la luminosité de l'appareil au max, meme si l'image est sombre)
@ao9779
@ao9779 2 жыл бұрын
@@PasseScience en l'occurence c'était mon laptop donc c'est plus compliqué de changer la luminosité aussi facilement qu'avec un smartphone. J'ai consience que ce n'est pas quelque chose que tu peux changer comme ça en claquant des doigts mais je ne pense pas être la bonne personne pour te donner des conseils techniques à ce sujet. c'est une question à soulever avec des personnes plus expérimentées que moi qui pourrait peut être t'aider à améliorer ton format :)
@PasseScience
@PasseScience 2 жыл бұрын
@@ao9779 *c'était mon laptop donc c'est plus compliqué* Ba figure toi qu'en theorie non, c'est généralement 1 ou 2 touches, personnellement ca m'a changé la vie de les chercher (car je fais pareil, j'utilise le laptop dans le lit), sur le mien c'est juste la touche fonction en bas a gauche + une touche dans les Fx avec un symbole soleil. Meme en dehors du fond blanc de mes videos je pense que c'est un bon investissement de chercher le raccourci clavier (sur les écrans modernes meme le sombre ébloui et est incompatible avec le sommeil). Apres je dis pas ca pour éviter de changer mon fond :) juste pour rappeler qu'en theorie c'est très facile, utile et bénéfique.
@ao9779
@ao9779 2 жыл бұрын
@@PasseScience ben oui mais tu comprends je dois maintenir la touche FN de mon clavier et appuyer sur la touche F9 et me souvenir le lendemain qu'il faut inverser ce processus avec F10 sinon je passe une journée très grise :| et puis tu penses à l'écologie et les dauphins ?
@happycreeper6923
@happycreeper6923 2 жыл бұрын
Avez vous dit quelque part la formation que vous avez eue/ vos diplômes ? La question est un peu hors sujet pardon :/
@PasseScience
@PasseScience 2 жыл бұрын
Hello, je suis ingénieur informaticien, Bac+5, classe prépa générale (math, physique, spé info) puis école ingénieur (informatique du coup), avec des trucs à coté, un "DEA" comme c'était appelé à l'époque en intelligence artificielle (mais qui est relativement obsolète à la vue des nouvelles technologies qui n'existaient pas à ce moment la).
@luciferinremverso6860
@luciferinremverso6860 2 жыл бұрын
@@PasseScience ça fait plaisir de voir cela plutôt que les bac g universitaire style psycho, philo, journalisme🤣, etc…
@mytvmytv3417
@mytvmytv3417 2 жыл бұрын
Très intéressant, mais je n'ai pas pu finir la vidéo à cause fond sonore perturbant.
@PasseScience
@PasseScience 2 жыл бұрын
C'est tous les fonds sonores? ou un en particulier? si oui me pointer lequel. Je diminuerais le volume le prochain coup. (je prefere garder un fond meme faible, ca permet plein de truc, masquer les defauts sonores, donner une illusion d'unité de plans séparés etc...)
@alioudiouf6805
@alioudiouf6805 2 жыл бұрын
A l'époque de Shannon on racontait tout et n'importe quoi sans être inquiété! La science est intéressante et passionnante, mais on y raconte beaucoup de bêtises!
@JeanSarfati
@JeanSarfati Жыл бұрын
Théorie de l'information ou théorie de la médiation ? D'ailleurs pour aller jusqu'au bout 'théorie' ou ALTÉRIE (de 'altérité') ? On se demande où à encore se nicher le créationnisme ! Théorie = construction des dieux (ou du dieu) car théos=dieu en grec. Je ne connais pas de dieu(x), je ne connais que les autres, donc l'altérité, avec qui je travaille. Information ? Si c'est une forme 'interieure' à l'objet étudié ce sont ses caractères, donc une théorie (euh altérie) des propriétés de l'objet. Si c'est de l'informatique booléenne, c'est une technologie humaine très utile soit, mais un peu trop totalitaire (on l'utilise oui, mais les galaxies ont-elles des ordinateurs ?). Alors pourquoi pas plus clairement 'médiation', effet intermédiaire B entre deux objets A et C ? De ce point de vue altériste, il ne s'agit pas des propriétés intérieures à l'objet étudié mais de la médiation dans l'interaction. Donc propriétés d'un côté, et médiation de l'autre. On peut certes réduire les deux comme Données et Programme exécutif sont confondables par des données binaires, mais c'est une pirouette informatique car on ne peut confondre les deux sinon blocage ! C'est une des dialectiques paradoxales comme une voiture a un accélérateur et un frein, dans les deux cas accélération, mais jamais une voiture ne peut avancer au frein. Cette confusion entre l'intérieur et l'extérieur est peut-être le fond de créationnisme caché dans cette 'théorie' dite 'de l'information', le rêve d'une Unité finale paradisiaque d'avec un Autre créateur (Maman) !
@ichbinvalou2577
@ichbinvalou2577 11 ай бұрын
mashallah
@cap4095
@cap4095 2 жыл бұрын
Trop compliqué il vaut mieux soulever les gobelets pour trouver la pièce !
@freezoulou
@freezoulou 2 жыл бұрын
c'est une confusion de la matrix ce bordel (>_
@gregvaillant4046
@gregvaillant4046 2 жыл бұрын
T'as la même voix que Lolocochet...
@morez39400able
@morez39400able 2 жыл бұрын
j ai l impression que tu lis un texte traduit par google.
@helios6830
@helios6830 2 жыл бұрын
Sans rapport avec la vidéo : tu fait quoi comme sport ? T'es assez baraqué
@PasseScience
@PasseScience 2 жыл бұрын
Entretien general: course, tractions, pompes, abdos, squat.
@soufianefal7379
@soufianefal7379 2 жыл бұрын
Merci, mais j'aurais bien aimé qu'on m'explique aussi à quoi ça sert dans la vie
@PasseScience
@PasseScience 2 жыл бұрын
A établir les bases théoriques de tous les systèmes de communication (et plus généralement de representation de l'information) passés, presents, et à venir. Smartphone, wifi, 3,4,5G, television par satellite.... (Et tous les formats de stockage d'information avec compression ou tolerance aux erreurs).
@soufianefal7379
@soufianefal7379 2 жыл бұрын
@@PasseScience merci
@giacomocasanovae1123
@giacomocasanovae1123 2 жыл бұрын
Ultra chiant.
@PasseScience
@PasseScience 2 жыл бұрын
Sans l'organe pour réfléchir, le monde des idées est comme un match de foot sans jambe: il ne s'y passe pas grand chose et on s'ennuie.
@giacomocasanovae1123
@giacomocasanovae1123 2 жыл бұрын
@@PasseScience Espèce d'idiot. Sais-tu qui je suis ? Non. Remets-toi en question plutôt. Au fait, le foot n'existe pas dans le mondes idées.
@PasseScience
@PasseScience 2 жыл бұрын
@@giacomocasanovae1123 *Sais-tu qui je suis ?* Au minimum: un impoli d’après votre premier commentaire, et d’après votre second: quelqu'un de suffisamment bête pour ne pas saisir le principe d'une métaphore. Y a t il autre chose à savoir sur vous?
@giacomocasanovae1123
@giacomocasanovae1123 2 жыл бұрын
@@PasseScience Oui. Une métaphore avec le foot ? Je vois le niveau. Va donc lire des ouvrages un peu plus pertinents. La théorie de la communication de l'information date de cinquante ans et n'est qu'une vaste fumisterie. Allez bon match, le beauf.
@LouisBarjon
@LouisBarjon 2 жыл бұрын
du coup tu peux dire qui tu es s'il te plait ?
@samirtouati7713
@samirtouati7713 2 жыл бұрын
T'as raison je ne peux te répondre..mes réponses ne s'affichent pas.. Voilà ma réponse : Bon je vais te donner mon point de vue .. Tu sais il y a plusieurs théories concernant la vie et les extraterrestres Lis cet article www.google.com/amp/s/www.franceculture.fr/amp/sciences/les-civilisations-extraterrestres-sont-deja-mortes-et-autres-theories-expliquant-labsence-daliens Pour moi, la théorie la plus plausible est celle "terre : zoo des extraterrestres " Quoi que Zoo n'est pas le mot qu'il faut , par contre c'est "terre : laboratoire des extraterrestres " Donc pour moi il y a sûrement une intelligence immatérielle,intemporelle qui a confectionné tout l'univers et ce qu'il y a dedans et surtout a élaboré un programme pour chaque entité du nano au macro .. Un argument en faveur : puisqu'il y a expansion de l'univers (c'est prouvé), cette expansion ce fait où ? Probablement dans l'espace immatériel et intemporel ou l'intelligence supérieure y est .. Ainsi le programme de l'inerte c'est les lois que ça soit de la physique macro ou quantique et de la chimie .. Pour le vivant c'est l'ADN et ses dérivés comme l'ARN .. Malgré ça les débuts de la vie restent un mystère pour nous les humains ..
@PasseScience
@PasseScience 2 жыл бұрын
Oui je connais bien le paradoxe de Fermi (j'ai aussi fait une video dessus) et les différentes résolutions possibles dont la classe Zoo. Mais le zoo ou labo c'est plutôt une famille de théorie qu'une théorie. Pour en faire une théorie il faudrait tenter de qualitativement décrire c'est-à-dire préciser comment ces choses interviennent, sont elles en dehors de notre réalité et peuvent elles modifier son contenu, sont elles dans notre réalité et elles sont venues physiquement sur Terre etc... décrire quand, comment et quoi. Ne pas être évolutionniste n'empêche pas de tenter de décrire l'histoire du vivant sur Terre. Par exemple on a un registre fossile de milliards de fossiles dont des millions d'intérêt, vous pouvez par exemple consulter le registre des fossiles d'intérêt ici: paleobiodb.org/navigator/ Je rappelle qu'un fossile ce n'est pas juste un objet du passé, c'est aussi: -une localisation géographique (on sait ou on l'a trouvé) -une localisation géologique (on sait ou dans le sol, dans quelle couche et à quelle profondeur on l'a trouvé) -une datation (il existe des 10aines de méthodes de datations). Ce qu'on observe avec le registre fossile c'est que la majorité des espèces ayant laissé de telles traces n'ont pas de fossile avant une certaine date et pas de fossile après une certaine date (disparition ou autre). Et pour les espèces actuelles il n'y a évidemment qu'une date de début. Tous les genres ont des dates d'apparition et de disparition éparses, par exemple on ne trouve pas d'humains avant une certaine date très récente, pas de primates avant une date légèrement plus ancienne etc... Plus on remonte le registre fossile plus les organismes sont simples. Le tout présentant des proximités morphologiques progressives et cohérentes (en position géographique et en datation). *Vous noterez ici que je vous ne parle PAS d'évolution* , c'est uniquement une description des traces, des faits. Dans un second temps, on peut ensuite se pencher sur des théories et leur compatibilité avec les faits. Ces faits (le registre fossiles) ne sont pas en eux seuls une preuve de l'évolution, mais ils sont tout de meme singuliers et en excellent accord avec ce qu'on s'attend à trouver si la théorie de l'évolution était vraie. Si vous avez une théorie alternative, il faut la confronter aux faits, et voir en quoi elle expliquerait mieux ce qu'on observe que l'hypothèse actuelle (l'évolution). Et il faudrait faire cela pour toutes les lignes factuelles. Comme je vous l'ai déjà dit il y a des 10aines de domaines différents de traces factuelles auxquels l'évolution s'est frottée, pour se prétendre de la science il faut au minimum faire le meme travail avant de proposer autre chose. Que ce soit au sujet des rétrovirus endogènes, ou des reliques de centromères au niveau des chromosomes, ou du registre fossile, de l'anatomie comparative, de l'embryologie comparative etc... Certains points sont des preuves rigoureuses de la théorie de l'évolution et d'autres se contentent d’être compatibles avec ce qu'on s'attend à trouver dans une approche évolutive. En quoi tous ces points seraient davantage en accord avec votre hypothèse du zoo version labo?
@samirtouati7713
@samirtouati7713 2 жыл бұрын
@@PasseScience Certes la paléontologie est une science plus au moins précise quand il s'agit d'étudier et de préciser l'espèce du squelette trouvé ainsi que la datation de ce dernier mais de là à dire que tel ou tel squelette correspond une anatomie imaginée ou supposée voire à une forme précise pour correspondre les espèces selon l'évolution imaginée et supposée ça devient de la science fiction.. (N'oublie pas que le programme informatique ou l'intelligence artificielle qui façonnent les squelettes pour leur donner une forme et une face est d'origine intelligence humaine et généralement c'est des humains avec une idéologie précise à savoir évolutionnistes) Depuis l'avènement de la théorie de l'évolution la paléontologie à été détournée de sa vocation au profit de cette théorie vu qu'elle lui a fait un buz en quelque sorte .. Pour moi l'existence d'une intelligence supérieure est indiscutable tout comme l'existence d'une intelligence humaine indiscutable pour l'intelligence artificielle des micro-ordinateurs et des robots ..(ainsi si l'homme devait disparaitre,aucune intelligence ne dira que toutes les villes et tout ce que l'homme à fait ,s'est fait tout seul en Se modelant et en se collant tout seuls..) Concernant mon point de vue sur l'existence d'une intelligence supérieure je te donne les arguments dans ce lien dieulasciencelespreuves.com/article-5-lacus-vulputate-suscipit-pellentesque-venenatis/ Et surtout je te conseille de lire le livre: Dieu,la science,les preuves de Michel Ives Bolloré et Oliviers Bonnasies (tout deux scientifiques et un préface par un prix Nobel de physique à savoir Robert W.Wilson)
@PasseScience
@PasseScience 2 жыл бұрын
@@samirtouati7713 *mais de là à dire que tel ou tel squelette correspond une anatomie imaginée ou supposée* Alors meme si dans de rares cas extrêmement précis c'est ce qu'on fait, ce n'est absolument pas en ça que le registre fossile est particulièrement compatible avec l'évolution. Vous faites ici un "homme de paille" c'est-à-dire que vous caricaturez une position, malgré vous (parce que vous ne la connaissez en fait pas du tout), et vous critiquez ensuite votre caricature. Mais en vrai cette caricature n'existe pas. Il y a une tres grosse dynamique macroscopique et statistique en faveur de l'évolution dans le registre fossile, par exemple: -la complexification chronologique des organismes. -l'imbrication morphologique aux niveaux des périodes, par exemple les fossiles d'hominidés sont dans une période incluse dans les fossiles de primates qui sont dans une période elle meme incluses dans celle des mammifères, qui sont eux meme dans une période incluse etc... et c'est le cas pour des milliers d'espèces dans au total plusieurs millions de fossiles d'intérêt, il y a imbrication des dates en correspondance phylogénétique au niveau morphologique. -on observe aussi que des événements ayant isolé des formes de vies (comme la séparation de continents) engendrent une divergence morphologique des espèces ainsi séparées. -enfin dans certains cas plus rare mais tres précis, l'évolution a pu prédire, avant découverte des fossiles, à quel emplacement géographique et à quelle date, dans quelle couche on allait trouver des espèces intermédiaires entre deux espaces connues. Mais ce dernier cas n'est en aucun cas la partie la plus importante, ce qui importe ce sont les points précédents d'imbrication des périodes en accord avec les changements morphologiques, ainsi que la cohérence géographique. *tout deux scientifiques et un préface par un prix Nobel de physique à savoir Robert W.Wilson* Alors cette phrase m'interpelle, c'est qq chose qui m'a toujours énormément interpellé chez les créationnistes, et je vais vous poser une question sincère car j'ai vraiment du mal ici a voir comment vous fonctionner. Clairement dans une telle phrase vous mettez en avant ce qu'on appelle l'argument d'autorité, c'est à dire que vous jouez la carte des "scientifiques" et du "prix Nobel", et je n'ai pas trop de problème avec cela, ce qui me gêne c'est votre cohérence. Parce que soit on joue la carte de l'argument d'autorité et dans ce cas on doit TOUJOURS la jouer, soit on accepte que l'argument d'autorité c'est pas bien et dans ce cas on doit jamais s'en servir. Dans votre cas il y a un paradoxe, car des prix Nobel en faveur de l'évolution, des publications scientifiques sur le sujet etc... c'est simplement écrasant. La proportion du consensus en matière d'évolution dans la communauté scientifique est tres largement au dessus de 97% (fr.wikipedia.org/wiki/Projet_Steve) et le nombre de publications scientifiques dans le cadre de l'évolution se compte en milliers. Le rapport est au minimum 1 pour 50 voir 1 pour 100, pour chaque prix Nobel creationniste que vous pourrez trouver on en trouvera entre 50 et 100 en faveur de l'évolution. Donc pourquoi jouez vous la carte de l'argument d'autorité alors que c'est vraiment la PIRE CHOSE que vous puissiez faire étant donné l'écrasante majorité d'autorité contre vos thèses, soit vous vous fiez à l'avis expert et dans ce cas vous écoutez la majorité écrasante d'entre eux, soit leur nombre et leur expertise ne vous intéresse pas et dans ce cas vous ne devriez jamais en parler...
@samirtouati7713
@samirtouati7713 2 жыл бұрын
@@PasseScience Concernant l'argument d'autorité mentionné ,c'est juste pour te dire que le livre n'est pas d'ordre idéologique... Maintenant revenons aux fossiles,tu vas voir que la théorie de l'évolution eh les évolutionnistes en général reposent sur les suppositions, l'imagination et " ça a l'air d'être comme ça " Voilà un lien d'un petit e.débat entre un paléontologue évolutionniste et un chercheur créationniste kzbin.info/www/bejne/hGWnhaiuoch1i6s Si tu as le temps de le voir c'est intéressant..
@PasseScience
@PasseScience 2 жыл бұрын
@@samirtouati7713 *les évolutionnistes en général reposent sur les suppositions, l'imagination* J'ai envie de demander qu'est ce que vous en savez? car s'il y a une chose qui me semble claire dans notre discussion c'est que vous connaissez tres mal les theses, les arguments et les raisonnement en face, à plusieurs reprises vous avez demontrer une vue caricaturale de ces theses. Vous noterez que "ne pas etre d'accord" n'empeche pas de connaitre ce qu'on critique. Vous pretendez ici savoir comment fonctionne la science evolutionniste, qu'avez vous vraiment lu sur le sujet? Avez vous ete voir la science evolutionniste par un prisme different que celui des critiques de quelques creationnistes? avez vous deja ouvert un livre sur la synthese de l'evolution? avez vous deja lu la moindre publication scientifique dans un cadre evolutionniste? avez vous consulté le site web que je vous mentionnait au debut de notre conversation et mentionnant 29 lignes d'elements academiques evoquant les preuves reconnus de la theorie de l'evolution? Par ce que moi, a l'inverse, des productions creationnistes j'en lai une une tetrachié et vue des heures... j'ai vu les deux camps si vous voulez, et je n'ai clairement pas l'impression que vous ayez consulté la moindre chose du domaine des sciences reconnues en matiere d'evolution. Comprenez qu'ici il ne s'agit pas d'etre d'accord ou non, ce que je vous demande c'est comment vous savez ce que vous pretendez savoir sur comment les evolutionnistes fonctionnent, sans jamais n'avoir jamais vraiment rien lu d'eux? malgré les milliers d'ouvrages et de publications sur le sujet?
Hoodie gets wicked makeover! 😲
00:47
Justin Flom
Рет қаралды 52 МЛН
Will A Basketball Boat Hold My Weight?
00:30
MrBeast
Рет қаралды 150 МЛН
La nature profonde de l'entropie 🌶️
55:37
Science4All
Рет қаралды 55 М.
L'attaque informatique la plus sophistiquée de l'Histoire
29:01
Claude Shannon - Father of the Information Age
29:32
University of California Television (UCTV)
Рет қаралды 358 М.
#110 Philippe Guillemant : Physique de l'information et spiritualité (Tome 1)
59:26
Métamorphose, éveille ta conscience
Рет қаралды 415 М.
Démon de Maxwell et entropie - Passe-science #52
24:40
Passe-Science
Рет қаралды 68 М.
Nos algorithmes pourraient-ils être BEAUCOUP plus rapides ? (P=NP ?)
27:18
Le critère de Shannon démontré
21:30
E-Learning Physique
Рет қаралды 34 М.
LENIA : Une nouvelle forme de vie mathématique !
22:09
ScienceEtonnante
Рет қаралды 607 М.