38C3 - RadioMining - Playlist-Scraping und Analyse

[@superman9693]

Finde diese Big Data Mining Vorträge echt mit das beste immer bei den Kongressen. 😂

[@TodayTestfbsfbsfbs]

Ja ich vermisse echt den David Kriesel, seine Vorträge waren legendär, hoffe er kommt irgendwann mal wieder.

[@superman9693]

@@TodayTestfbsfbsfbs safe!

[@DaveChimny]

@@TodayTestfbsfbsfbs Der mined vermutlich gerade einen weltverändernden Vortrag zusammen. :D

[@DerSchrottBastler]

@@TodayTestfbsfbsfbs aus sicherheitssicht würd ich es begrüßen wenn er nie wieder was vortragen müsste.

[@mas-kos]

@@DerSchrottBastler weshalb?

[@tyberzann9713]

„Haben wir noch Daten? Zwei noch?“ - hat mich gekillt :D Danke!

[@kranko235]

Wer hat die letzten genommen?

[@QemeH]

Nix mehr?

[@kay0]

@@QemeH gar nichts mehr?

[@StefanMagerstedt]

Danke - hast Du Dir auch die anderen Easter Egg Überschriften angeschaut? Habe während des Vortrags nicht mehr alle individuell angesagt.

[@tyberzann9713]

@@StefanMagerstedt ich wollte nicht alle aufschreiben, aber ja :D da hattest du aber auch einen Lauf... :D

[@martinmusli3044]

Cool. Klare "Aufgabenstellung", gut erklärt wie er sich das gedacht hat. Viel Humor und authentisch rübergebracht

[@flaaario7366]

Ich bin kein Hacker oder Informatiker aber ich finde es immer wieder interessant womit Leute ihre Zeit verbringen, was man alles „zwischen den Zeilen“ lesen kann, aber am meisten mag ich den Humor den meiner Erfahrung nach 90% der Sprecher mitbringen ❤

[@Xyng97123]

Die Rhetorik von ihm ist erste Sahne. Kein einziges „ähm“ gehört. Spannend war das Thema auch noch. 10/10 👍🏻

[@MetalheadAndNerd]

28:05?

[@maddoggLP]

Mega sympathischer Typ und cooler Vortrag! Freu mich schon auf weitere Vorträge von ihm 👍

[@RamonSmithMusic]

Unfassbar sympathischer Typ. Er kann sich richtig gut bedanken! Das ist ein Skill, der meiner Meinung nach zu selten ist. Vielen Dank für diesen wunderbar informativen und gleichzeitig unterhaltsamen Vortrag! ❤

[@ownageDan]

ausgezeichneter vortrag! die techn. details auch für mich als laien mit gefährlichem halbwissen gut verständlich, die daten schön aufbereitet und sehr unterhaltsam vorgetragen. danke!

[@MajorChris1983]

Mega Vortrag. Ganz vielen Dank für deine Arbeit. 🎁

[@loens2]

Sehr schön bei einem Vortragenden mal ein Framework Laptop zu sehen.

[@rainson12]

+1 besitze selbst einen Framework 16 - tolles teil

[@g14d0s7]

+1 auch sehr zufrieden - schön, dass das Gerät seine Zielgruppe findet!

[@StefanMagerstedt]

Danke, dass das auch jemanden auffällt. Habe den seit Ende 2022 und bin sehr zufrieden damit. Auch wenn ich zugeben muss, dass für mich zu Beginn das wichtigste Feature war, dass ich auf beiden Seiten des Laptops mit USB-C laden konnte.

[@martine.bruggemann98]

Nice, wollte grad genau das kommentieren!

[@HanzFromHell]

Aber auf dem Congress mit einem Windows drauf ... mega fail!

[@m0llux]

Einfach genialer Vortrag. Selten so eine Kombination aus Inhalt und Humor erlebt :)

[@bigbasspic]

Ein wirklich amüsanter und interessanter Vortag! Und jetzt weiß ich endlich wann "Last Christmas" vermieden werden kann 🤣 Danke dir!

[@TheGottkaiserin]

Kann bei SWR1 BaWü aber passieren, dass das am 24. Juni als Weihnachtscountdown läuft😂

[@bigbasspic]

@@TheGottkaiserin 😵‍💫

[@chr0mg0d]

Großartiger Beitrag und schöner Appetithappen für eine tiefere Beschäftigung mit Datenanalyse. Vielen Dank 🖖

[@xzorey6062]

Sehr cooler Vortrag und klasse Typ!

[@sorbische_sonne]

Die Frage mit dem Radiowecker (43:35) fühle ich. Es kommt vielleicht nicht immer derselbe Song zur selben Zeit, aber es sind die selben 5 Songs die jeden Morgen laufen (zumindest auf 1Live). :D

[@StefanMagerstedt]

In dem Monat vor Weihnachten (24.11.-24.12.) hättest Du um 06:45 tatsächlich fünf Mal Nina Chuba's "Fata Morganga" gehört und zweimal Bruno Mars/Rosé APT. Wenn Du mir Deine Weckerzeit nennst, kann ich Dir die Statistik personalisieren. ;)

[@ulrichulrichulrich]

Klasse Vortrag, und räumt auch mit dem einen oder anderen Mythos auf. Sehr gut, Danke.

[@Deppenradar]

Jan Kuhlmann war damals bei N-Joy mein Lieblingsmoderator, vorallem, weil er in seinen Shows echt breit gefächert war und es da ziemlich viele kleine Schätze zu hören gab…

[@ryangewheelt]

Hat Spaß agemacht sich diesen Vortrag anzusehen!

[@itsrinayaaa]

Super interessanter und witziger Vortrag! :)

[@frohlinefine7447]

Ein sehr guter Vortrag. Das Tüpfelchen auf dem i war das Methodisch Inkorrekt shirt. Der Mann hat Geschmack :D

[@StefanMagerstedt]

Danke. Bin ein großer Fan und habe den Link auch an Nicolas geschickt. Er hat sich gefreut, dass sie dadurch ja "irgendwie trotzdem" beim Congress waren.

[@RACOONLPs]

Spannendes Video. Habe tatsächlich nachdem ich damals das DB Video von David Kriesel gesehen habe genau das selbe gemacht. Habe das mit allen Antenne Sendern gemacht und bin da auch zu spannenden Ergebnissen gekommen.

[@0topon]

Kannst du ein paar der Ergebnisse mit uns teilen?

[@vladovidovic5550]

Ich hab vor zwei Jahren mal händisch einige Radiosender hier in Hessen beobachtet und war teilweise erschrocken über die Wiederholungsquoten! 😮

[@Oafalda]

Super vorgetragen, für Profis interessant und wahrscheinlich auch für Laien verständlich!

[@thommylicious]

Klasse Vortrag, hat richtig Spaß gemacht. Danke!

[@bernyBread377]

MEGA spannendes Thema! Ich habe das Gefühl dass ich innerlich vorhersagen kann welcher Song als nächstes nach dem aktuellen kommen wird. Es wäre interessant das zu filtern ob gewisse Songs (auf einem Sender) immer nacheinander laufen...

[@StefanMagerstedt]

Die meisten Sender achten darauf, nicht "vorhersagbar" zu sein, weil sie sich sonst wie eine zu oft gehörte Compiliation anhören. Da aber einige Lieder gerne gespielt werden UND gut nacheinander passen, gibt es einige Kombinationen häufiger als andere. Die Gesamtmenge habe ich als Liste präsentiert (und die Songliste auf meine Webseite gestellt).

[@FrankCH12345]

Whow, cooler Vortrag, vielen herzlichen Dank

[@Synonym_MS]

Sehr sympathischer Typ, das hat richtig Spaß gemacht

[@normanpross1876]

und auch tolle Unterhaltung !

[@fluminox13]

Immer mehr Ideen, die man mal probieren könnte, danke

[@D4RkViP3R]

Klasse Talk, danke dafür!

[@Tobeei]

Das PULS so abwechslungsreich ist kann ich bestätigen. Ganz netter Sender!

[@learnbytrying]

dass

[@Tobeei]

@ danke mein geliebter bruder!

[@learnbytrying]

@Tobeei aber gern brudi

[@DanielSmith-ze9lw]

24:33 ICH HABE ES IMMER GEWUSST!!!

[@stansteez]

Bei den BPM wird allerdings vernachlässigt, dass moderne Musikproduktionen mit double-time arbeiten in der Produktion. Also ein Song, der gefühlt 80 BPM hat, wird in 160 BPM programmiert und das verzerrt die Statistik, falls der BPM counter es nicht versteht, dass es ein double-time beat ist.

[@fargoththemoonsugarmaniac]

was genau soll das bringen? doppelt so hohe Auflösung des Grids? Wenn ja, und man dann aber doch nur auf jede 8te Note ne Kick haut, dann ist es im Grunde ja wieder die halbe Geschwindigkeit und sollte auch so erkannt werden. Oder kannst du das irgendwie genauer ausführen?

[@StefanMagerstedt]

Das hast Du tatsächlich sehr gut bemerkt. Die Songs mit potentiell zwei unterschiedliche valide BPMs habe ich auch testweise aus dem Datensatz mal entfernt, der gezeigte (grafische) Anstieg war aber ähnlich. Daher konnte ich einen einfachen Datenfehler ausschließen, die generelle Geschwindigkeit scheint sich banal erhöht zu haben - zumindest nach meinen Daten und meiner Interpretation. :)

[@sauerkraud]

Stefan hat dir ja schon geantwortet. IMO ist auch double time physiologisch trotzdem für das empfinden stressiger. mehr informationsdichte, und mit dem Bassbeat halt genau das was es "simuliert": Den Herzschlag. Definitiv wird mehr anspannung/stress verursacht, selbst bei softem rythmus dazu.

[@HenryLoenwind]

An der Stelle dann noch eine kleine Musikempfehlung, hier auf KZbin zu finden: "Der Type der bei der Gema die Titel eintippt"... Lief der eigentlich mal irgendwann im Radio?

[@StefanMagerstedt]

In meinen Daten lag der Song nicht vor - da ich aber nach '%GEMA%' gesucht habe, sind anscheinend Perlen wie "ALLES WIRD AUS HACK GEMACHT" gelaufen...

[@slartibartfasszwei5156]

Hallo @@StefanMagerstedt, danke für den tollen Vortrag. Du sprichst davon, dass du ähnliche Titel mit dem Hamming-Abstand erkannt hast. Meines Wissens sollte das die Levenshtein-Distanz sein, also die Anzahl an Operationen (Buchstaben ändern/hinzufügen/entfernen), sodass man den gleichen Text herausbekommt. Der Hamming-Abstand ist wiederum die Anzahl an unterschiedlichen Bits in zwei binären Codes. Also 000 und 101 hätten den Hamming-Abstand 2. Viele Grüße

[@StefanMagerstedt]

Das ist richtig. Ich habe das für den Vortrag verkürzt dargestellt, da byteHammingDistance() von ClickHouse faktisch die Levenshtein berechnet. In einer ausgeblendeten Folie war der Befehl noch aufgefüht, was nur zu Verwirrung geführt hätte. Aber mein Nerd-Herz schlägt höher, wenn auch andere solche Details ankreiden. Gute Arbeit! :)

[@McGybrush]

Super Vortrag. Ich muss auf Arbeit jeden Tag 9h (8h wenn ich in der Pause die Halle verlasse) Radio hören hab aber dennoch freie Auswahl was an ist. Hatte ich es richtig Verstanden das ich Dir eine eMail schicken kann und Du eine Liste aus den Daten erstellen kannst mit einem Ranking aller Sender machen kannst mit: Spielt am wenigsten Doppelt bis Spielt am häufigsten doppelt Aktuell ist es so das ich ca. 6-7 Sender habe und die jeden Tag rotiere. Aber nicht die Perfekte Lösung.

[@StefanMagerstedt]

Du kannst mir gerne eine Mail mit konkreten Fragen stellen, die ich mithilfe der Daten beantworten kann. Ich habe aber nicht *alle* Sender und die Werte sind Durchschnittswerte. Für die Wiederholungen musst Du Dir überlegen, ob Du eher "insgesamt" in der Woche mehr Abwechslung haben willst (aber trotzdem Wiederholungen enthalten sind) oder ob Du zwar weniger Abwechslung, dafür aber seltenere Wiederholungen willst.

[@unwucht1529]

haha, geil, Rick-Rolled! :)

[@bernds6587]

Definitiv sehr interessant, und korreliert mit meinen eigenen Beobachtungen. Insbesondere bezüglich den Charts. Ich höre meist englische Radiosender aus aller Welt, sei es Australien, Malta oder USA. Da bekommt man die durchaus neusten Lieder mit. Und da ist es mir nämlich sehr oft aufgefallen: Wenn ich (eher selten) mal ein deutschen Radiosender höre(n muss), dann höre ich dort Lieder, die ich vor 2 Wochen oder teilweise einem Monat bereits in den ausländischen Radiosendern gehört habe. Teilweise liefen die auf und ab, und waren bereits fast wieder uninteressant. Bestes Beispiel: Blinding Lights von the Weeknd. Kannte ich bereits ca 3 Wochen, und dann zufällig mal in einem deutschen Radio gehört, dass es gerade so neu ist, frisch in den Charts etc. Warum die erwähnten Musikredaktionen so hinterherhinken, wäre mal interessant, bzw warum Musikredaktionen anderer Sender das nicht sind Nur mir war bisher nicht klar, wer denn nun am Ende zuerst da war, Henne ( Charts ) oder Ei ( Radiosender ) Also wieder was gelernt, es sind tatsächlich die Radiosender, die so langsam sind. Allgemein sehr interessant, damit kann ich einen Punkt auf meiner Liste streichen, was ich mal machen wollte. Für mich wäre dann noch interessant, allgemein (ohne Bezug aufs Radio) wie und OB die deutschen Charts im Vergleich zu weltweit oder anderen Ländern "verzögert sind, und auch wie schnell manche Lieder in die Charts einsteigen nach den Release... übrigens Daumen hoch für Firefox, und "vernünftiger Browser" im selben Moment. Stoppt den Chrome-Wahnsinn 😃

[@Deppenradar]

Musiklabel haben einen großen Einfluss darauf, indem sie den Radiostationen das schicken, was sie bewerben wollen. Landet in der Musikredaktion. War früher natürlich stärker ausgeprägt, könnte mir aber vorstellen, dass bestimmte Märkte eben erst später starten.

[@bernds6587]

@@Deppenradar hm, valider Punkt. Ist natürlich schade, dass sich die Musikredaktionen so abhängig machen, und somit keinerlei nicht-Mainstream Musik "zum Zuge" kommt. Gibt so einiges, was auch für "Normalohren" hörbar ist, aber kaum oder gar nicht im Radio läuft. Und wenn, dann meist in kleineren Radios oder eben Internetradios.

[@thestarmister]

Also, als Mitarbeiter einer Privatsender-Gruppe kann ich den Vorwurf, die Sender wären langsam, nicht so stehen lassen! :D Das ist eher der deutsche Markt, der so ist. Gerade AC-Sender warten lieber ab, denn gewisse Zielgruppen in Deutschland stehen gar nicht mal so sehr auf "neue" Musik, auch wenn sie das von sich selbst behaupten. Alle Songs werden ja bei Fokusgruppen getestet, und gerade ganz neue Songs, selbst von großen Künstlern, sind in den ersten Wochen oft unbeliebt, weil sie einfach noch unbekannt sind. Wenn sie dann eine Zeit warm gespielt sind, entweder weil man die Songs dann trotzdem spielt (nur einfach sehr selten), oder weil Songs durch andere Medien dann bekannter geworden sind, sind sie plötzlich dann doch beliebt - und werden dann auch im Radio gespielt. Auch wenns neu ist, es würde ja keinen Sinn machen, Songs zu spielen, die Hörer nicht mögen - Gründe egal. Kenne ich auch von vielen privaten Partys, meistens wollen die Leute da nichts neues hören, selbst wenn sie es mögen könnten. Sie wollen hören, was sie kennen. Und zwei Wochen später höre ich dann meine unbeliebten Songs plötzlich auch da, weil sie plötzlich bekannter sind. ;) Labels haben übrigens gar keinen so großen Einfluss, gerade nicht bei AC-Sendern, die auf Masse gehen. Unbeliebte Songs zu spielen, nur weil die Labels das wollen, bringt denen gar nichts. Selbst wenn es dafür Geld geben würde - die Hörer schalten ja trotzdem ab und am Ende sind Quote und Werbeeinnahmen wichtiger.

[@bernds6587]

@@thestarmister was bedeutet AC in dem Zusammenhang?

[@thestarmister]

@@bernds6587 AC ist ein Musikgenre, das heißt Adult Contemporary. Das sind die Standard "80er, 90er und das beste von heute"-Sender, also Popsender, die eine möglichst breite Masse ansprechen möchten. Sowas wie Bayern 3, SWR3, NDR 2, ffn, FFH und so weiter.

[@asador5637]

Super Vortrag!

[@tubelitrax]

Hold my beer. So'n bißchen LInux kann ich ja auch seit 1997. Mit vi, grep, sed usw. kenne ich mich sehr gut aus. Gleich mal testen was ich mit calmap anfangen kann. Z.B. eine Calmap meiner Arbeitszeit. Wird alles rot sein! ;)

[@towb0at]

Wäre auch an ner Schule cool der Vortrag!

[@winkekeks]

Auf die Frage zu Last Christmas: Bayern 3 hat das beispielsweise schon mal am 18.10. gespielt, habe ich ein Beweisfoto von :)

[@m0llux]

MDR Jump spielt den jedes Jahr am 24. Juni. Ja, genau 6 Monate vor und nach Weihnachten :D

[@TheGottkaiserin]

@@m0llux swr1 macht das auch.

[@StefanMagerstedt]

@@m0llux Die Daten für den 24.06.2024 kann man sich noch von der Webseite abrufen (denkt dran, die API dahinter liefert mehr Daten als nur die letzten 8 Tage). Und dort muss man leider nüchtern feststellen, dass zumindest in der Playliste am 24.06. bei MDRJump kein Weihnachtslied enthalten ist. Zumindest keines mit "XMAS" oder "CHRISTMAS".

[@TecSanento]

Ich habe auch mal bei meinem lokalen Radiosender angefragt ob sie noch die Playlisten der Musik meiner Kindheit haben weil ich damals viel Radio gehört habe... Aussage war nein das wären viel zu viel Datenmüll denn sie würden nur die letzten zwei Wochen speichern😢😮

[@fluminox13]

27:00 wäre nice, die Daten in Prozent zu sehen. Weil so ist deine Statistik glaube ich verfälscht, weil die Zeiträume unterschiedlich groß sind. Der Taylor Song wurde aufeinmal nur noch 10 % so oft gespielt wie in den Zeitraum davor.

[@Krausmar]

Ich habe keine Ahnung davon. Aber liebe jeden Vortrag zu Mining. Wäre noch interessant gewesen, welcher Radio-Moderator, welche Songs am liebsten spielt.

[@StefanMagerstedt]

Dazu fehlt zum einen die einfach zugängliche Datenquelle (welcher Moderator ist zu welchem Zeitpunkt im Programm) und zum anderen hat nicht der Moderator, sondern mehr die Musikredaktion einen Einfluss darauf. Es gibt auch Programme, welche dabei unterstützen, um die richtige "Rotation" zu ermitteln (mit geheimen Algorithmen), aber das letzte Wort hat "meistens" ein Mensch - nur ist das im seltensten Fall der Moderator.

[@JR-zp7cw]

Der Berater …wie gut testet der Titel ?

[@GameDeLaGame]

Passend zum Thema Musik: Kann mir jmd. den Namen der Musik nennen die im Intro läuft, also ab 0:00. Danke (:

[@Deppenradar]

Die ist, wie auch alle Intros, eigens dafür produziert.

[@onlyNaizo]

super spannend. Weils gleich am Anfang im Beispiel war: SNAP war mein meist gehörter Song 2024 bei mir.

[@Alex-lu4po]

Mein erster Gedanke: Wie zufrieden ist er mit dem Framework Laptop?

[@retohummer2570]

Sehr spannend, kann David Kriesel fast Konkurrenz machen ;)

[@anbu.ishtar]

Was macht der eigentlich inzwischen? Er war einer der besten Referenten, die ich je gesehen habe :)

[@rGunti]

Ich dachte beim Titel, hat David wieder mal zugeschlagen? :D

[@StefanMagerstedt]

Danke, das ist ja quasi ein Ritterschlag. :) Ich habe mit David nach dem BahnMining-Vortrag über dieses Thema gesprochen. Durch ihn hat das Thema Data Mining Interesse bei einer breiten Masse gewecket, wodurch es einfacher wurde, das zu platzieren. Da ich kein Data Scientist bin, kann ich mich aber nicht wirklich mit ihm konkurrieren. :)

[@anbu.ishtar]

@@StefanMagerstedt aber trotzdem einen Super-Vortrag über ein spannendes Thema gestaltet, und das mit sehr gutem Humor :) gerne mehr!

[@Volvo_EG]

@@StefanMagerstedtKann ich auch nur bestätigen. Bin aktuell zwar erst bei einem Viertel aber ich hab mich auch sehr an die super unterhaltsamen Vorträge von David erinnert gefühlt. Toll gemacht 👍🏼

[@andtrixr3284]

Übelst gut :)

[@notofinterest]

mich hätte interessiert ob die daten dazu geeignet gewesen wären um den Einfluss der labels/produzenten zu veranschaulichen, bzw. ob songs gepusht wurden, obs bestimmte kickoff zeiten für songs gab ab denen es plötzlich in allen radios lief usw.

[@julianreverse]

Radiosender sind zur Aufzeichnung ihres Programms verpflichtet. Auf irgend einem Server liegt bei jedem Sender der vollständige Mitschnitt des Programms über lange Zeiträume.

[@Rebecca94S]

Shirt von Methodisch inkorrekt 😍

[@redaquarius3661]

Es gibt nur wenige große Medienagenturen, die den Markt beherrschen und alle Sender gleich beraten. Dazu der Einfluss der großen Musikverlage, die Cashback geben, wenn ihre Lieder bevorzugt in die Rotation gehen...

[@blueark1]

Geile Arbeit

[@funkyvogelfutter3147]

genial ...danke

[@krcn00b]

Welcher Sender spielt am meisten Charts?

[@heldt952]

Krass wieviel Arbeit da rein fällt bei den Sendern. Keine Wiederholung innerhalb der nächsten x Minuten Zumindest morgens rotations über Wochen Saisonale Rotations Bestimmte Songs werden nur angespielt ... Beeindruckend.

[@W00PIE]

Arbeit? Sowas programmiert man doch eigentlich nur einmal und dann stellt man sich als Sender nur noch die Parameter ein.

[@kai990]

Einträge ab 1977 online verfügbar? Was?

[@christianmaluck7497]

Auch Radiosender haben Praktikanten/innen !!!

[@StefanMagerstedt]

Das bezieht sich auf die offiziellen Charts. Die Webseite heißt auch einfach so, kann sie im Kommentar hier nur nicht verlinken. Dort sind alle deutschen Single Charts seit 1977 verfügbar, die Seite hat auch ein paar einfache grafische Auswertungsmöglichkeiten für Chartspositionen von Songs.

[@fluminox13]

Womit wurden eigentlich die Diagramme um 31:36 erstellt?

[@StefanMagerstedt]

matplotlib.pyplot

[@subjektobjektpradikat7902]

Geil. Dudelfunk ausgedribbelt. Gibt schon Gründe, eher byteFM oder DLF zu hören.

[@Zack87254]

Super Vortrag, jetzt bekommst du wahrscheinlich hunderte Ideen, was man noch machen kann! Verbesserungspotenzial: Vielleicht kann dann KI helfen, gleiche Songs zu identifizieren, die aber in dern Daten unterschiedlich geschrieben sind (Umlaute, Sonderzeichen, Schreibweisen etc.). Könnte man dann, einmal detektiert, natürlich als aliase abspeichern.

[@LinkinSLB]

Zu dem Spotify Exkurs: Ich dachte der API Zugang zu den Song Previews wäre auch seit November deprecated? Hatte ich schmerzlich bei einem eigenen kleinen Hobbyprojekt feststellen müssen. Gibt es da einen Workaround?

[@StefanMagerstedt]

Das ist er auch - die Previews sind aber immer noch an der alten Stelle abrufbar. Wenn man also für die betreffenden Lieder im Vorfeld die API-Abfragen gemacht *hätte*, dann *könnte* man aus den JSON-Results noch die gültigen (!) URLs der Previews ermitteln und abrufen. Oder man nimmt einfach einen anderen Dienst wie Deezer.

[@LinkinSLB]

Danke für die Antwort. Super Vortrag übrigens, hat mich sehr unterhalten!

[@willidriver]

Gibt es das Skript Open Source, um es auf seinen eigenen lokalsender anzupassen?

[@ichsuper]

Super Talk. Danke. Das mit dem Betriebsgeheimnis ist natürlich Quatsch. Es gibt sogar Anbieter die genau das was du gemacht hast an die Radiosender verkaufen für die Musikrecherche.

[@anreji_]

Super Vortrag! Falls du dich noch in den Kommentaren rumtreibst: So weit ich weiß, ist es in Frankreich ja Gesetz, dass eine bestimmte Prozentzahl an französischen Songs im Radio laufen müssen. Hast du analysiert wie viele deutsche Songs bei uns im Radio laufen und ob es da große Unterschiede zwischen den Sendern gibt?

[@StefanMagerstedt]

Dazu müsste irgendwo die Information verfügbar sein, welche Sprache der jeweilige Song hat. Diese einfache Information habe ich in den gängigen APIs nicht gefunden, und komplett analysieren kann ich die Songs nicht, weil ich sie nicht vollständig vorliegen habe. Bei allerlei Wörtern kann man auch Englisch oder Deutsch nicht unterscheiden, daher müsste man sich für einen "Prozentsatz" entscheiden, ab wann ein Song in welcher Sprache gesungen wurde. Falls es eine API hierfür gibt, wäre ich total offen, die Frage hatte ich mir ja selbst auch gestellt.

[@rainson12]

Könnte man nicht auch berechnen wie viel Musik zeitlich überhaupt gespielt wird. Die reine Anzahl an abgespielten Songs ist aufgrund der Songlänge ja nicht unbedingt repräsentativ? Es könnte ja sein, dass sich Songs seltener wiederholen weil generell weniger Musik gespielt wird und man stattdessen mit Werbung verköstigt wird.

[@LX.M]

Schwer. Ob Lieder vorzeitig abgewürgt oder voll ausgespielt werden geht aus den Daten ja i.d.R. nicht hervor. Manchmal ist noch nicht mal dokumentiert, welche Version eines Lieds gespielt wird (von manchen Liedern gibt's ja beispielsweise eine "Radio Edit"-Version)...

[@StefanMagerstedt]

Dafür müsste man sich nicht auf die Playlist-Daten fokussieren, sondern auf die tatsächlich ausgespielten Songs. Dafür gibt es aber aus gutem Grund einige Firmen, die das komplette (!) Radioprogramm aller Sender mitschneiden und per AudioID die Zuordnung der Songs machen. Mit etwas Grips kann man dann auch die tatsächlich gespielte Länge erkennen oder ob z.B. zwischenzeitlich Falschfahrer-Meldungen eingeschoben wurden oder der Song am Anfang oder am Ende "besprochen" wurde. Wenn man den Aufwand macht, sollte man damit aber auch versuchen, Geld zu verdienen...

[@Ratsacker0269]

Ich liebe den Framework Laptop lol

[@Leseratte]

Was mir gefehlt hat in dem Vortrag wäre eine Statistik der BPM nicht wie sie sich im Laufe der Jahre verändern sondern im Laufe eines Tages / einer Woche. Ich hab das Gefühl Nachts laufen im Radio immer nur schnarchlangsame Songs in Zeitlupe dass man beim Autofahren aufpassen muss dass man nicht einschläft. Hätte gerne mal ne Statistik gesehen "Durchschnittliche BPM" nachs um 10, nachts um 0, nachts um 2 im Vergleich zu 10 Uhr morgens oder 3 Uhr nachmittags. (Wurde zwar als Frage nach dem Vortrag gestellt aber nicht so wirklich beantwortet).

[@StefanMagerstedt]

Hatte ich erstellt und war selbst enttäuscht, dass es praktisch keine Unterschiede gab. Auch heruntergebrochen auf einzelne Sender. Manchmal findet man auch einfach "nix".

[@paradonym]

Ich brauche im Flur eine Lampe die ziemlich exakt das momentane Außenlicht genau so wie Sonne oder Mond darstellen kann. Geht das? Das muss auch bei Sonnenuntergang und Aufgang exakt sein

[@22chrisalex]

Mich hätte noch das Thema Werbung interessiert. Wer spielt am meisten?

[@StefanMagerstedt]

Dafür müsste man den Audiostream der Sender selbst komplett analysieren. Und selbst dann ist für einen Computer (oder eine KI) es schwer, den Anfang und das Ende eines "Werbeblocks" zu erkennen, da die Jingles sich bei jedem Sender unterscheiden. Aber das eigentliche Problem bleiben die Aufnahmen von so vielen Streams gleichzeitig. :) Aus den Playlisten gehen diese Daten leider nicht hervor.

[@sauerkraud]

@@StefanMagerstedt kannst du nicht eine schätzung betreiben, indem du die playtime der songs gegenrechnest und schaust welches delta übrig bleibt an moderation inkl. werbung? zumindest lässt sich die frage beantworten "wer labert am meisten vs. wer spielt die meiste musik". das ganz publik machen als graph auf ner internetseite, und dann bricht ggf. die Welle an das Radiosender konkurieren wer am meisten Musik spielt da es objektiv nachvollziehbar ist für konsumenten?

[@void-fc2dd]

Wow....enorm gut. Danke Dir Stefan! Musik und Scraping ist bei mir auch Thema, allerdings eher im Kontext persönliche Plattensammlung und Discogs.

[@xyoxus]

6:39 Das ist vermutlich das erste Mal dass ich den Namen geschrieben irgendwo seh, hätte vermutet er schreibt sich _Ray_

[@LumpiMcDreck]

Und jetzt im europäischen Vergleich bitte. ^^

[@fst534]

Statistika sagt 32 hören täglich Radio. Woher kommt die Diskrepanz? edit: 32 Millionen, also 38%

[@StefanMagerstedt]

ma 2024 Audio II (kann hier leider keinen Link posten, Du kannst aber danach suchen). Zitat: "Fast 53 Millionen der deutschsprachigen Bevölkerung ab 14 Jahren nutzen von Montag bis Freitag mindestens ein Audioangebot, unabhängig von seinem Empfangsweg." und "Die Tagesreichweite (Mo-Fr) liegt bei 73,9 Prozent". Die Aussage von statista ist übrigens 32 Millionen täglich, nicht Prozent. statista nutzt dieselbe Quelle, ich weiß allerdings nicht, woher sie diese Zahl genommen haben, in den Zusammenfassungen der Studie steht diese Zahl nicht und die werktägliche Nutzung ist mit 53 Millionen deutlich höher, immerhin weist auch statista korrekt die 73,9% aus.

[@DerReaperZockt]

Welche statistik hast du benutzt?

[@argh1989]

Bei der Zahl 74% bin ich auch direkt hängen geblieben, das klingt sehr unrealistisch. Zunächst schon mal merkwürdig, dass von Deutschen Bundesbürgern die Rede ist. Also werden anscheinend die ca. 13 Mio. Menschen ohne deutsche Staatsangehörigkeit ignoriert, die in Deutschland leben. Dann frage ich mich, wie genau dieses Radio Hören definiert ist. Reicht es, wenn ich an einer Baustelle vorbeigehe und ein paar Fetzen mitbekomme? Reicht es, wenn ich während der Lohnarbeit damit beschallt werde, oder als Säugling/Kleinkind mithöre, oder als desorientierte Seniorin im Pflegeheim? Oder muss ich mich selbst auch dazu entschieden haben zu hören, was ich höre?

[@fst534]

​@@DerReaperZockt Warum verschwinden meine Comments ständig; ich hatte gestern schon geantwortet?!

[@DerReaperZockt]

@@fst534 weil links in der regel gesperrt werden einfach mal den titel hier einfügen

[@FlotterOttoOfficial]

Stefan scheint hier aktiv in den Kommentaren zu antworten. Welcher song wurde denn am wenigsten gespielt? ❤

[@StefanMagerstedt]

Es gibt leider "viele" Songs, welche nur einmal gespielt werden. Diese Eintragsfliegen in den Listen sind leider nichts besonderes. Es gibt auch bestimmte Mixe, welche nur einmalig gespielt wurden.

[@FlotterOttoOfficial]

@@StefanMagerstedt Erstmal, vielen Dank für deine Antwort!

[@StefanMagerstedt]

@@FlotterOttoOfficial Danke, das Getränk der Wahl heißt aber "Mate" :)

[@uelzen20]

ich wundert ja fast, das Wham so gar nicht auftaucht.. Ich habe übrigens 2707 Stunden Musik. Und das Offline auf der Platte :)

[@2XS]

Für den Algorithmus!

[@Deppenradar]

Und jetzt das Ganze nochmal mit Tracks, die in Reels, TikToks und Shorts gespielt wird…

[@habichmeyer]

Klassikradio hören, obwohl da sicher auch Sachen zu beobachten sind. Aber wenn mir nach Radio ist, dann das

[@fargoththemoonsugarmaniac]

kann außerdem ByteFM sehr empfehlen. Keine Werbung, spendenfinanziert, keine Chartmusik, sondern aus allen möglichen (obskuren) Genres von Psychedelic Rock, über Techno und Jazz bis Drum n Bass alles dabei. Mit interessanten Hintergrundinfos zu den Interpreten und Labels sowie Release-Informationen (wann kommt der Song wo und auf welchem Medium raus)

[@DaveChimny]

25:33 Man muss sich das mal vorstellen! Wenn man die Sender hört, gab es einmal pro Stunde ein Deja-vu. Funfact am Rande: Auch wenn die Zahl von vier Stunden Hördauer anderes vermuten lässt, dudelt ganz oft das Radio einfach nur nebenher (z.B. im Büro oder in der Werkstatt). In Befragungen wird aber eben angegeben, dass man den ganzen Arbeitstag lang Radio hören würde, obwohl das nicht wirklich stimmt. Es sitzen nur ganz, ganz wenige Menschen wirklich mit Feuereifer vorm Radio und achten völlig unironisch mit Absicht auf die gespielte Musik. Vor 30 Jahren war das noch anders - da musste man noch ganz genau aufpassen, wenn man unbedingt ein Lied auf Kassette mitschneiden wollte - Spotify und Co. gab's ja damals noch nicht.

[@Hoerli]

SWR3 - Wir sind die Cantina-Band, wir spielen den selben Song nach ~120 Minuten nochmal! Was ein Schrott-Sender :D Ich hätte 3-4h getippt, aber 2h .... joaaah.

[@ThePapanoob]

die daten müssen falsch sein! der schlimmste song von allen ist nicht drin! stumblin in von cyril...

[@StefanMagerstedt]

Hat es mit 29755 Einträgen in meiner Datenbank leider nicht unter die Top10 geschafft. (Ist Platz 27).

[@chy4e431]

Wunderschöner Vortrag, aber irgendwie etwas... technisch lost? Warum sollte man sich die Mühe machen, das alles mit bash Tools zu parsen? Wenn man das in jeder Programmiersprache macht, ist es strukturierter und besser anzupassen.

[@peterl0815]

Ist doch Wurst wie man es macht wenn am Ende das Ergebnis stimmt. Es kommt immer einer des Weges und sagt "aber das geht doch effektiver" (zumindest in Deutschland) 😂

[@schnitzelsemmel]

Am besten ist das Tool das man selbst beherrscht

[@StefanMagerstedt]

Hallo, danke für das nette Feedback. Für das Scraping selbst kann man auch versuchen mit XPath und ähnlichen Vorgehensweisen an die Daten zu kommen. Aber dadurch muss man vergleichsweise lange dafür arbeiten, bis die Daten sauber herauskommen. Und kleinere Änderungen oder Fehler in den Webseiten (die häufig auftreten) führen dann zu ständigen Änderungen an den vergleichsweise komplexen Skripten. Daher habe ich diese alle eingestampft und habe die "iterative" Vorgehensweise mit grep, sed und ein paar weiteren Tools gewählt. Wenn JSON verfügbar war, hat mir übrigens jq am meisten geholfen. Für die Stabilität und Portierbarkeit der Skripte war übrigens bash entscheidend, ich habe zwar gegen Ende nur noch wenige Server genutzt, aber in der Hochphase unterschiedliche Architekturen/Plattformen. Da sind schon Unterschiede in z.B. Python-Versionen oder Libraries leider katastrophal für einen stabilen Datenbestand. Und nicht zuletzt galt für mich auch hier, dass für eine "einfache Aufgabe" auch bash-Skripte schon reichen können - warum also größere Geschützt auffahren, wenn es auch einfach geht? :)

[@chy4e431]

@@StefanMagerstedt Hi, vielleicht gehe ich einfach etwas anders an die Sache an, ich hätte jegliche regex oder JSON parsen Logik lieber in Javascript/Python gemacht, das wäre meiner Meinung nach deutlich übersichtlicher und einfacher, die Daten zu säubern. Verschiedene Python-Versionen können natürlich ärgerlich sein, das passiert mit Node.js o. Ä. nicht so häufig, ich hätte vermutlich ein Docker Image gebaut, das ich überall draufschmeißen kann und es fängt sofort an zu sammeln, egal wo. Am Ende haben wohl die Kommentatoren recht, das beste Tool ist, dass das man beherrscht, ich finde bash tools werden schnell furchtbar fehleranfällig und unübersichtlich, aber wenn man damit umzugehen weiß, oder vielleicht damit besser umgehen kann, als mit anderen sprachen, ist es vermutlich besser bash zu benutzen.

[@StefanMagerstedt]

@@chy4e431 Um bash-Skripte irgendwie beherrschbar zu bekommen, gibt es Webseiten wir shellcheck punkt net. (Wenn ich das als Link schreibe schmeißt youtube leider immer meinen Kommentar weg.)

[@MeineVideokasetten]

Kurz: Die selbe Shice jeden Tag (mehrmals). Deshalb: Ich bin schon lange weg vom linearen UKW-Radio!

[@BudBauer]

Also diese Radionutzungs-Umfrage ist doch wieder ein gutes Beispiel keiner Umfrage zu trauen. über 70% der Bevölkerung Täglich 4 Stunden?? Vllt mit Spotify und Co. Oder 70% im Altenheim😂 Als ich es mal gewagt habe Radio im Auto an zu machen, wurde ich von meinen Mitfahrern lachend gefragt ob mein Bluetooth kaputt sei. Und es ist der einzige Ort wo ich überhaupt ein "normales" Radio habe.

[@StefanMagerstedt]

Das ist leider nur sehr subjektiv. Denk doch mal an all die Leute, welche den ganzen Tag auf der Arbeit, auf dem Weg hin und wieder zurück Radio hören. Die alleine haben jeweils locker 10h. (8h Arbeit, 1h Pause, 1h Anfahrt/Rückreise)

[@BudBauer]

@@StefanMagerstedt gibt bestimmt Leute die über 10 Stunden am Tag hören, aber die gelten dann auch nicht für 2 Personen. Und Pendler mit dem Auto gibt es ca 9.5 Millionen. Davon hören bei weitem nicht alle Radio. Ähnlich wird das bestimmt auf der Arbeit sein - auf den wenigsten Stellen läuft Radio durchgehend, auch wenn es solche gibt.

[@armin0815]

Mag offensichtlich Daten lieber als Radio - das heißt Planet Radio und nicht Radio Planet... 😅

[@StefanMagerstedt]

Ich habe den Sender selbst nie gehört und daher "nur" die Playliste auf der Webseite abgegriffen. In meinen Daten habe ich die Einträge verkürzt nur mit "planet" abgespeichert. Da sehr viele Sender sich "Radio XXX" nennen (wie bei Radio FFH, denn radio planet gehört zur ffh-mediengruppe), kommt dieser Versprecher leider zustande. Also: Sorry für diese Ungenauigkeit.

[@armin0815]

@@StefanMagerstedt Kein Ding, fällt nur auf, wenn man mit Planetradio aufwächst ... :D

[@xyoxus]

28:29 sich über falsche Enkodierung lustig machen und dann im Deutschen keine Umlaute nutzen...

[@StefanMagerstedt]

Ich freue mich immer, wenn Menschen die versteckten Easter Eggs finden. Top Leistung! ;)

[@BoomBoomBazokaJoe]

Von den Empfängern kann er doch gar nicht sprechen.

[@jfolz]

Tsk tsk. Kein Postgres. -100 Social Credits.

[@StefanMagerstedt]

Netter Versuch. Im Benchmark zwischen MySQL/MariaDB/PostgreSQL hat sich kaum was getan, weshalb ich das auf die "generelle Zeilenorientierte Engine" reduziert hatte.

[@Markusobi0]

Äh ich hoffe er rechnet besser als er spricht, denn 500 Minuten sind gut 8h und nicht 5!

[@StefanMagerstedt]

Ich mag Versprecher/Vertipper/Verrechner nicht ausschließen, aber ich wüsste nicht, an welcher Stelle ich das gesagt oder gezeigt habe. Meinst Du die "UNSERDING"-Folie gegen Ende? Da ist der Peak bei 300 Minuten, also 300/60=5 Stunden. Wie gesagt, mag einen Fehler meinerseits nicht ausschließen, aber dann solltest Du mir die Stelle benennen, damit ich das nachvollziehen kann.

[@WhiterockFTP]

sqlite langsam? da passt was nicht.

[@StefanMagerstedt]

Das bezieht sich auf die jeweilige Aufgabenstellung, ich war auch davon ausgegangen, dass ich im Vortrag darauf hingewiesen habe, dass es für *meine* Aufgabenstellung mit *meiner Datenmenge* und *meinen Anfragearten* langsam ist. Ich habe die Datenbanken auch für mich gebenchmarkt und gerade bei der Aggregation großer Datenmengen war ClickHouse um größenordnungen schneller als sqlite. Für kleine Datenmengen und kleine Projekte nutze ich auch gerne sqlite (und "wäre" deswegen auch gerne meine erste Wahl gewesen).

[@sauerkraud]

schon mal mit großen datenmengen gearbeitet? SQL is bad.

[@WhiterockFTP]

@ sql is nur die query language. das is orthogonal zu großen oder kleinen datenmengen… riesige unternehmen greifen auf ihre teils gigantische daten mittels SQL zu 😅

[@paraluchs_]

@@sauerkraud Haha da kennt sich einer nicht aus

[@sauerkraud]

@paraluchs_ wer SQL nur für meta daten nutzt und eine große SQL datenbank hat mag glücklich sein. Wer SQL mit großen Daten selbst nutzt bekommt das kotzen. Wir nutzen es für unsere .raw Computertomografie Daten (leicht mal 300GiB files) nicht mehr, und auch für unsere "3D" (Stacked Layer) TIFFs mit 30-300MiB nutzen wir es nicht mehr.

[@hippotek1]

Das BESTE an all den Daten: Ich kenne nur EINEN der Songs, die erwähnt wurden un dden hasse ich. Rick Astley, Never gonna give you up. Den Rest habe ich noch NIE gehört... man merkt: Ich streame seit gut 5 Jahren ausschließlich und nur noch, was ich wirklich hören will.

[@johndoe4314]

Glückwunsch. Dann weiterhin viel Spaß in deiner Blase

[@chy4e431]

@@johndoe4314 Weil Radiomusik bekanntlich keine Blase ist, haben wir am Vortrag gemerkt

[@johndoe4314]

@chy4e431 wenn das dein Argument ist nicht über den Tellerrand zu schauen, dann soll es so sein

[@chy4e431]

@@johndoe4314 Es geht hier immerhin um Musik, worin liegt also das Problem, bei der Musik zu bleiben, die man bereits mag? Its not that deep

[@localhorst6822]

>HTML unironisch zu Fuß parsen Bruh

[@m222f87]

Hmm, Lückenfüller?

[@theod0r]

Meinst du die "Gespielt pro Woche und Sender" Datenpunkte?

[@3nt3_]

irgendwie ein bisschen nervig vorgetragen, das ist doch eine fachkonferenz

[@m222f87]

Absolut richtig, Hobby Projekt auf FH Student Level 🥱

[@Silas_229]

Wissenschaftlich sicherlich nicht das anspruchsvollste, ALLERDINGS ist es sehr unterhaltsam vorgetragen und man hat vor allem beim Q&A gemerkt, wie intensiv er sich mit den Daten bzgl. Deutung und Korrektheit auseinander gesetzt hat. Im Anfangsteil haben sicherlich viele nicht viel neues gelernt, aber es ist doch auch schön, wenn auch weniger fachkundige Menschen erfahren können, wie man so etwas eigentlich macht

[@Deppenradar]

Super! Dann sehen wir dich auf dem 39c3! Bin gespannt, was du abliefern wirst.

[@3nt3_]

@Deppenradar ich bin mir absolut sicher dass der speaker das anders hätte machen können und das war wirklich nicht böse gemeint

[@theod0r]

@@m222f87 Nicht jeder von uns hat Studiert.