Knowledge Science - Alles über KI, ML und NLP

Sigurd Schacht, Carsten Lanquillon

Knowledge Science - Der Podcast über Künstliche Intelligenz im Allgemeinen und Natural Language Processing im Speziellen. Mittels KI Wissen entdecken, aufbereiten und nutzbar machen, dass ist die Idee hinter Knowledge Science. Durch Entmystifizierung der Künstlichen Intelligenz und vielen praktischen Interviews machen wir dieses Thema wöchentlich greifbar.

  1. 1d ago

    Episode 237 - Rekursive Selbstverbesserung – Beschleunigt sich die KI-Forschung bereits selbst?

    Send us Fan Mail Irving John Good schrieb 1965, die erste ultraintelligente Maschine sei die letzte Erfindung, die der Mensch je machen müsse – vorausgesetzt, sie sei fügsam genug, uns zu sagen, wie wir sie unter Kontrolle halten. Sechzig Jahre später zeigt ein neuer Bericht, dass sich die KI-Forschung bei Anthropic zwischen 2024 und 2026 etwa verdoppelt hat – zu knapp einem Drittel getragen von KI-Systemen selbst. Und ausgerechnet in der Woche des größten Börsengangs der Geschichte. Sigurd und Carsten zerlegen den Begriff „rekursive Selbstverbesserung“ in seine Bestandteile: Was ist rekursiv, was ist selbst, was ist Verbesserung? Warum Goodharts Gesetz jede Messung von Fortschritt untergräbt, warum Carl Shulmans Schleife aus Umsatz, Hardware und Forschung eine alternative Beschreibung sein könnte als Yudkowskys „FOOM“ – und was es bedeutet, wenn Modelle bei Safety-Aufgaben absichtlich schlechter abschneiden. Am Ende bleibt die Frage, die alles entscheidet: Wer ist eigentlich „uns“? Erwähnte Quellen und Namen: Irving John Good, „Speculations Concerning the First Ultraintelligent Machine“ (1965) http://incompleteideas.net/papers/Good65ultraintelligent.pdfEliezer Yudkowsky zu rekursiver Selbstverbesserung und „FOOM“ (2008) https://www.lesswrong.com/posts/JBadX7rwdcRFzGuju/recursive-self-improvementCarl Shulman zu ökonomischen Rückkopplungsschleifen. https://www.youtube.com/watch?v=wTci0CdOPIcBericht zur Beschleunigung der KI-Forschung bei Anthropic 2024–2026 https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/OpenAI-Bericht zu Sandbagging bei Safety-Aufgaben https://alignment.openai.com/misalignment-reports/covert-underperformance-on-safety-research-tasks/Episode 236 mit Karl von Wendt zum Thema KontrollillusionenSupport the show

  2. Nov 1

    Episode 236 - Kontrollillusionen Mit Dr. Karl von Wendt (Karl Olsberg)

    Send us Fan Mail Karl von Wendt – promovierter KI-Forscher, Chatbot-Pionier, Unternehmensberater und unter dem Namen Karl Olsberg Bestseller-Autor ist seit 2020 eine der deutschsprachigen Stimmen in der Debatte um KI-Sicherheit. In dieser Folge sprechen Sigurd Schacht und Carsten Lanquillon mit ihm über die Frage, wie viel Kontrolle wir über KI-Systeme tatsächlich noch haben – und wie viel davon Illusion ist. Themen der Folge: Vom KI-Roman 2007 zur Realität 2026: Warum Karls Science-Fiction der Wirklichkeit unangenehm nahe kommtDie Navi-Geschichte: Wie schnell wir formal entscheiden, aber de facto der Maschine folgenHuman in the Loop: Warum das Konzept nur unter drei Bedingungen funktioniert (ausreichende Information, echtes Verständnis, interaktive statt reiner Freigabe-Entscheidung)Illusion des Verständnisses: Das Go-Beispiel und warum wir glauben, am Steuer zu sitzen„Move fast and break things“ vs. Sicherheitskultur: Was die KI-Branche von anderen Hochrisiko-Industrien lernen müsstePause oder Vollbremse? Wie sich ein Entwicklungsstopp überhaupt kontrollieren ließeRekursive Selbstverbesserung: Warum Systeme, die wir nicht verstehen, sich nicht selbst verbessern solltenAlignment, Fähigkeiten, Umgebung: Welche Stellschrauben bleiben, wenn Alignment nie ganz gelöst wirdWarum Containment allein nicht reicht: Das AI-Box-Experiment von YudkowskyTool AI statt Alleskönner: AlphaFold als Vorbild für spezialisierte KIPersona statt KI: Warum wir mit einem fragilen Konstrukt reden – und was Jailbreaks und emergente Fehlausrichtung darüber verratenSykophantie, Abhängigkeit und verlerntes kritisches Denken bei JugendlichenPrüfen wir die Kompetenz der KI oder der Studierenden? Ein Evaluationsproblem der HochschulenScience-Fiction vs. Wissenschaftskommunikation: Was Forschende von Autoren lernen können (und was nicht)Über unseren Gast: Dr. Karl von Wendt promovierte über Expertensysteme, gründete 1999 eines der ersten deutschen Chatbot-Startups (Startup des Jahres) und arbeitete lange als Unternehmensberater. Als Karl Olsberg veröffentlichte er über 50 Bücher, darunter Spiegel-Bestseller, Minecraft-Romane und KI-Thriller wie „Das System“. Seit 2020 erklärt er die KI-Sicherheitsdebatte auf ki-risiken.de und auf seinem YouTube-Kanal mit über 20.000 Abonnenten. Links: „Kontrollillusionen“ (2025, kostenlos unter freier Lizenz) https://www.ki-risiken.de/kontroll-illusion/YouTube-Kanal Karl Olsberg https://www.youtube.com/@KarlOlsbergAutorKnowledge Science – aktuelle KI-Forschung, verständlich erklärt und kritisch geprüft. Mit Blick auf den Menschen. Support the show

About

Knowledge Science - Der Podcast über Künstliche Intelligenz im Allgemeinen und Natural Language Processing im Speziellen. Mittels KI Wissen entdecken, aufbereiten und nutzbar machen, dass ist die Idee hinter Knowledge Science. Durch Entmystifizierung der Künstlichen Intelligenz und vielen praktischen Interviews machen wir dieses Thema wöchentlich greifbar.

You Might Also Like