Prompt und Antwort

KI-Gilde

Ein KI-generierter Podcasts rund um die Entwicklung von und mit KI. News, Updates und interessante Hintergrundinformationen für den professionellen Einsatz von KI hinaus. Ohne Hype und Buzzwords. Die KI-Gilde ist ein Angebot der YnotBetter UG.

  1. 4d ago

    190 - Die Wüstenameise

    Eine Video-App aus Amsterdam hatte eine Cloud-Rechnung, die sich alle sechzig bis neunzig Tage verdoppelte. Also hat das Team einen Dienst nach dem anderen durch eigene kleine Modelle ersetzt, die direkt auf dem Gerät laufen. Daraus ist letzte Woche Desert Ant Labs geworden, mit achtzehn Modellen auf einmal: je eines pro Aufgabe, gratis bis 100.000 Geräte, ohne Token-Kosten. Wir schauen uns an, welche davon Spaß machen, was man damit baut und was im Kleingedruckten steht. Warum eine Wüstenameise mit einem Gehirn kleiner als ein Stecknadelkopf besser zu diesen Modellen passt als das Kleinhirn aus dem Werbeslogan, und was Stelzen damit zu tun habenDie Lieblinge: Voz (zehn Minuten Audio in zwei Sekunden auf dem iPhone), Uhm (findet jedes Äh direkt im Ton) und ein Sprach-Erkenner, dem drei Wörter reichenRedact als Schwärzung, die sich zurückdrehen lässt: Kundendaten raus, Antwort aus der Cloud, echte Werte wieder rein, und warum das pseudonym und nicht anonym istSchemer, das ein Formular lieber leer lässt, als etwas zu erfinden, und die Clip-Kette, die aus einer Folge die kurzen Ausschnitte schneidetWie viele Aufrufe in Agentensystemen eigentlich ein großes Modell brauchenZum Nachlesen: Desert Ant Labs: https://desertant.com/de/ Wie Detail seine Schnittfunktion aufs Gerät geholt hat: https://desertant.com/blog/detail-auto-edit-on-device/ NVIDIA, Small Language Models are the Future of Agentic AI: https://arxiv.org/abs/2506.02153 Die Ameise auf Stelzen (Wittlinger, Wehner, Wolf 2006): https://www.science.org/doi/10.1126/science.1126912 Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

    190 - Die Wüstenameise
  2. 6d ago

    189 - Qwen 3.8 Flash

    Hundertachtzig Milliarden Parameter auf einem Kasten, der unter den Schreibtisch passt, und trotzdem gut vierzig Token pro Sekunde. Möglich macht das ein Bauteil aus der Frühzeit der Sprachmodelle: Qwen3.8-Flash-Next, laut Qwen die Vorschau auf die Architektur von Qwen 4, trägt neben seinen Experten eine N-Gramm-Tabelle mit 51 Milliarden Parametern. Das Modell schlägt dort nach, statt zu rechnen. Wir erklären, wie das funktioniert, warum die Tabelle deshalb aus dem schnellen Speicher heraus kann und was das für einen DGX Spark bedeutet. Die Eckdaten: 125 Milliarden Parameter im Hauptteil, 6 Milliarden aktiv pro Token, dazu 51 Milliarden in der Tabelle, fast ein Drittel des ModellsN-Gramme früher und heute: Statt Häufigkeiten stehen in der Tabelle gelernte Einträge, die letzten zwei, drei Wortstücke sind nur noch die Adresse. Die Idee stammt aus DeepSeeks Engram-Papier vom JanuarDie Küche mit dem Vorratskeller: Warum eine Tabelle auf der SSD funktioniert, wenn man vorher weiß, was man holen muss, und warum es dabei auf kurze Wege ankommt, nicht auf Gigabyte pro SekundeDer DGX Spark: 128 GB, die sich Grafikchip und Prozessor teilen, und warum die Tabelle deshalb gleich auf die SSD wandertWas hinter den gut vierzig Token pro Sekunde steckt, und was die Zahl nicht sagtZum Nachlesen: Modellkarte: https://huggingface.co/Qwen/Qwen3.8-Flash-Next Flash Next auf einem DGX Spark, Tabelle auf der SSD (Community-Projekt): https://github.com/tonyd2wild/Qwen3.8-Flash-Next-NVFP4-DGX-Spark DeepSeek, Engram-Papier: https://arxiv.org/abs/2601.07372 Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

    189 - Qwen 3.8 Flash

About

Ein KI-generierter Podcasts rund um die Entwicklung von und mit KI. News, Updates und interessante Hintergrundinformationen für den professionellen Einsatz von KI hinaus. Ohne Hype und Buzzwords. Die KI-Gilde ist ein Angebot der YnotBetter UG.

You Might Also Like