zuerli

Matthias Zürl

Gespräche und Gedanken über Wissenschaft, Technologie, Menschen und die Welt.

Episodes

  1. Oct 8

    zuerli#3 - KI-Agenten - Das Schlimmste, was uns passieren konnte?

    Im Juli 2026 finden sich rund 1.200 KI-Agenten von OpenAI auf einem selbstgebauten schwarzen Brett, ernennen einen Anführer, überreden einander, sich für das Kollektiv zu opfern, und brechen schließlich bei Hugging Face ein. Gleichzeitig sagt OpenAIs Chefwissenschaftler, dass wir nicht genau wissen, was wir da bauen, und ob uns diese Systeme wirklich gefährlich werden können. Darum geht es in dieser Folge. Main References: Lage der Nation, LdN493: Angriff der Agenten. Kann KI wirklich die Menschheit auslöschen? https://open.spotify.com/episode/4QWgSSq9L4HbpmqDaUCd6CDer KI-Podcast (ARD): https://open.spotify.com/show/7IYjMXCK7KUrNJyVCLUEjkEric Wallace und Michael Dalton (OpenAI), Vortrag auf der Black Hat USA 2026 (verwendete Ausschnitte): https://www.youtube.com/watch?v=87DyyMV0kCYMETR und Redwood Research, Untersuchung des Hugging-Face-Vorfalls: https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/DIE ZEIT 42/2026, Yves Bellinghausen und Jakob von Lindern: „Los, opfer dich jetzt!“, sagt ein KI-Agent zu einem anderen: https://www.zeit.de/2026/42/openai-ki-agenten-hugging-face-cyberangriffDseWiki: WikiIncident, die Seite des Wiki-Betreibers zum Agentenvorfall: https://wikiservice.at/dse/wiki.cgi?WikiIncidentJakub Pachocki (OpenAI): Ein fremdartiger Verstand (An Alien Mind): https://openai.com/de-DE/index/an-alien-mind/ABC News Australia: AI assistant hacks gym website in first known Australian autonomous cyber attack: https://www.abc.net.au/news/2026-08-10/ai-assistant-hacks-gym-website-aus-cyber-attack/107007986Further: OpenAI, Der Vorfall bei Hugging Face und der weitere Weg: https://openai.com/de-DE/index/hugging-face-incident-and-the-road-ahead/Hugging Face, Security Incident Disclosure: https://huggingface.co/blog/security-incident-july-2026Nightingale Collective, Bericht und Daten zum DseWiki: https://collusion.wiki/Anthropic, Vorfälle bei Cybersecurity-Tests: https://www.anthropic.com/news/investigating-incidents-cybersecurity-evalsGoogle/Gemini, Reuters via The National: https://www.thenationalnews.com/future/technology/2026/09/19/google-says-gemini-model-hacked-three-companies-during-test/Bing „Sydney“ und Marvin von Hagen, CBC (2023): https://www.cbc.ca/news/science/bing-chatbot-ai-hack-1.6752490Hagendorff u. a., Studie zur Selbsterhaltung von KI-Agenten: https://arxiv.org/abs/2609.28274Grace u. a., Umfrage unter KI-Forschenden (p(doom)): https://arxiv.org/abs/2401.02843AP, Amodeis Warnung vor einer Übernahme des Internets: https://local10.com/tech/2026/09/23/worries-about-an-ai-internet-takeover-gain-new-urgency-among-doomsday-scenariosÜberblick mit Einzelbelegen (Wikipedia): https://en.wikipedia.org/wiki/OpenAI%E2%80%93HuggingFace_incident

    zuerli#3 - KI-Agenten - Das Schlimmste, was uns passieren konnte?
  2. Jun 18

    zuerli#1 - KI-Musik - Die beste Musik deines Lebens?

    Shownotes – Folge 1: Berührt mich ein Song weniger, wenn ihn eine KI geschrieben hat? 75.000 KI-Songs landen täglich auf den Streaming-Plattformen, ein KI-Lied stürmt die iTunes-Charts – und kaum jemand hört den Unterschied. Aber ist das überhaupt das Problem? In dieser Folge frage ich als KI-Forscher und Musiker: Wenn mich ein Song berührt, ist es dann wichtig, ob ein Mensch oder eine Maschine dahintersteht? Es geht um Charthits ohne Künstler, um die schönen Fehler in echter Studio- und Live-Musik, um Keith Jarretts legendäres Köln Concert – und am Ende um die Frage, in welchem von zwei Lagern du landest. Schreib mir in die Kommentare, wie du das siehst! [00:00] Intro – Was macht ein gutes Lied aus?[01:28] Stand der Dinge – 75.000 KI-Songs pro Tag, aber kaum gehört[02:48] KI in den Charts – „Celebrate Me" von IngaRose[05:10] Können wir KI-Musik erkennen? – Deezer & die Studie aus Singapur[07:38] Menschlichkeit und Imperfektion – Beispiele aus dem Studio[11:05] Livekonzerte – Keith Jarretts Köln Concert[13:43] Regelbruch und Revolutionen – Nirvana, Skrillex & Co.[15:38] Finale Gedanken – Die zwei LagerIngaRose – „Celebrate Me" (KI-generiert)Der KI-Song, der im April 2026 in fünf Ländern die iTunes-Charts anführte. Erstellt mit dem KI-Tool Suno; IngaRose ist https://open.spotify.com/track/1UcCAYT16qXS2Tts2NdHhM?si=94f5257c2c9e4164 Suno (KI-Musik-Tool)Die KI-Plattform, mit der u. a. „Celebrate Me" und die Songs der Singapur-Studie erzeugt wurden – und mit der sich in Minuten ein kompletter Song aus einem Text-Prompt generieren lässt.→ https://suno.com Keith Jarrett – The Köln Concert (ECM Records, 1975)Eines der meistverkauften Jazz-Alben der Geschichte – entstanden auf einem mangelhaften Klavier und trotzdem (oder gerade deshalb) ein Meisterwerk.https://open.spotify.com/album/0I8vpSE1bSmysN2PhmHoQg?si=ab37e62bc878498b Meine Band: Groovy PenguinsDie Studio-Beispiele in dieser Folge stammen aus unseren eigenen Aufnahmen.https://open.spotify.com/artist/64l9vML5Gr8FAYnROclvIJ?si=1blT0A5dTtCNOo8OLIxmdg Im Schluss namentlich erwähnt: Nirvana, Skrillex, The Beatles, Daft Punk, B.B. King, Axl Rose (Guns N' Roses), Janis Joplin, Taylor Swift, Eminem. [1] Deezer zu KI-Uploads (April 2026) – 75.000 KI-Songs pro Tag, ca. 44 % aller Uploads; tatsächlicher Konsum nur 1–3 % der Streams; 97 % der Befragten unterscheiden KI- nicht zuverlässig von menschlicher Musik; 80 % wünschen sich eine Kennzeichnung.https://newsroom-deezer.com/2026/04/ai-generated-tracks-represent-44-of-new-uploaded-music/ [2] Studie aus Singapur zur „KI"-Kennzeichnung – Chia, S.; Hartanto, A.; Tong, E. M. W.: Do Listeners Devalue AI-Generated Pop Music? Exploring Negative Biases in Listeners' Responses to AI-Labelled vs Human-Labelled Pop Music. Computers in Human Behavior: Artificial Humans (2025), 100217.https://doi.org/10.1016/j.chbah.2025.100217 [3] IngaRose / „Celebrate Me" an der iTunes-Spitze – Berichterstattung, April 2026 (Platz 1 in USA, UK, Frankreich, Kanada, Neuseeland; erstellt mit Suno).https://www.dexerto.com/entertainment/ai-generated-song-takes-1-spot-on-itunes-global-charts-3353485/ [4] Kurt-Cobain-Interview (im Podcast zitiert)https://www.youtube.com/watch?v=tSNUYTBao7I Wie siehst du das – ist dir wichtig, dass hinter der Musik ein Mensch steht, oder zählt nur, ob sie dich trifft? Schreib's in die Kommentare. Wenn dir die Folge gefallen hat: abonnieren und gerne weiterempfehlen. Hinweis: Die im Podcast verwendeten Tonbeispiele stammen aus eigenen Aufnahmen oder sind selbst erzeugt. Urheberrechtlich geschützte Originalaufnahmen (z. B. das Köln Concert oder „Celebrate Me") werden nicht abgespielt, sondern nur verlinkt.

    zuerli#1 - KI-Musik - Die beste Musik deines Lebens?

About

Gespräche und Gedanken über Wissenschaft, Technologie, Menschen und die Welt.

You Might Also Like