Prompt und Antwort

KI-Gilde

Ein KI-generierter Podcasts rund um die Entwicklung von und mit KI. News, Updates und interessante Hintergrundinformationen für den professionellen Einsatz von KI hinaus. Ohne Hype und Buzzwords. Die KI-Gilde ist ein Angebot der YnotBetter UG.

  1. 14h ago

    202 - RAG und Co.

    RAG, GraphRAG, LightRAG, OpenRAG, LoRA, QLoRA – und wie bringe ich eigene Dokumente in die KI? Diese Frage kam als Hörerwunsch bei uns an. Wir spielen sie an einem Maschinenbauer durch, dessen Servicetechniker einen Assistenten bekommen sollen, der aus Handbüchern und Serviceberichten antwortet. Am Ende kannst du jeden dieser Begriffe einordnen. Warum „alle Dokumente ins Chatfenster“ scheitert: begrenztes Kontextfenster, Kosten und Tempo, Lost in the Middle, Rechte und AktualitätWie RAG in vier Schritten funktioniert: Chunking, Embeddings und Vektordatenbank, Retrieval, Antwort mit Quellenangabe – und warum die meisten Fehler bei der Suche entstehenDie Begriffe auf vier Ebenen: das Prinzip, Varianten wie Hybrid Search, Reranking, GraphRAG, LightRAG und Agentic RAG, fertige Produkte wie OpenRAG – und was gar kein RAG istFine-Tuning mit LoRA und QLoRA gegen RAG: Das eine gibt dem Modell Verhalten, das andere WissenWann Long Context mit Zwischenspeicher (CAG) die einfachere Lösung istDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

    202 - RAG und Co.

  2. 2d ago

    201 - Strata

    Eine Inferenz-Engine, die genau ein Modell ausführen kann: Strata bringt Qwen 3.8 Flash Next mit 125 Milliarden Parametern auf einen normalen Spiele-PC mit einer Grafikkarte ab 12 Gigabyte. Wir spielen das an einem Entwickler durch, der seinen Coding-Agenten auf einer RTX 4090 lokal laufen lassen will, statt seinen Code in die Cloud zu schicken. Und wir fragen, ob der Trend weg vom Allzweck-Server wie Ollama hin zur maßgeschneiderten Engine trägt. Wie Strata das Modell auf drei Ebenen verteilt: die meistgenutzten Experten im Grafikspeicher, alle im Arbeitsspeicher, die Nachschlagetabelle auf der SSDWas anders ist als bei llama.cpp und was unabhängige Messungen zeigen: 63 statt 23 Token pro Sekunde auf 12 Gigabyte, gleiche Ergebnisse bei Rechen- und Code-AufgabenWie weit man die Engine anpasst: Paketgröße, Kontext, parallele Plätze, das Überspringen seltener Experten, Sampling und Forks bis hin zu zwei PCs im HeimnetzWo es bricht: unbelegte Qualität bei langen Agentenaufgaben, Antworten, die bei Temperatur null nicht gleich bleiben, und eine Engine, die an einem Vorschau-Modell hängtFür wen es sich lohnt und für wen nicht: Team-Server, viele Modelle, DGX Spark und MacDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

    201 - Strata

  3. 5d ago

    200 - Warum Tool Calling kippt

    89 Prozent, wenn ein Modell ein einzelnes Werkzeug aufrufen soll. 45 Prozent, wenn dasselbe über mehrere Runden geht. In der letzten Folge ging es darum, wie Tool Calling funktioniert, diesmal darum, warum es im Alltag so oft nicht glatt läuft. Unser Beispiel ist ein Support-Agent, der Tickets liest, in der Kundendatenbank nachsieht und in einfachen Fällen eine Erstattung auslöst. MCP-Server gegen Kommandozeile: bekannte Shell-Befehle gegen ein fremdes JSON-Schema, und wer bestimmt, wie viel im Verlauf landetWas alles ein Werkzeug ist, vom Menschen, den man fragt, bis zum Subagenten, und warum Sicherheit eine Entscheidung im Harness ist und keine Eigenschaft des ModellsTool-Scheu: „Ich schaue mir die Bestellung mal an“, und dann kommt nichts. Warum das nach dem vierzigsten Ticket häufiger passiert als nach dem erstenMessen mit dem Berkeley Function Calling Leaderboard und Tau-Bench, und warum man solchen Zahlen nur mit Vorsicht trauen sollteAusblick: FunctionGemma, ein Modell mit 270 Millionen Parametern, das nur für Werkzeugaufrufe gebaut istDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

    200 - Warum Tool Calling kippt

  4. Oct 7

    199 - Kolibri im Test

    „Wir haben viel in Stil, Grammatik und deutsches Denken gesteckt. Dinge, die in keinem Benchmark auftauchen.“ So beschreibt das Team von Aleph Alpha sein neues Modell Kolibri, seit dem 3. Oktober mit offenen Gewichten frei verfügbar und bewusst nur für Deutsch und Englisch gebaut. Wir haben es auf einem DGX Spark laufen lassen und eine Frage gestellt: Schreibt ein Modell, das für Deutsch gebaut ist, auch besseres Deutsch, mit weniger KI-Slop? Mixture of Experts: 78 Milliarden Parameter, pro Token rechnen nur 3,5 Milliarden. Warum Kolibri deshalb schnell ist und den Spark trotzdem fast allein belegtRechnen gegen Wissen: 50 von 50 Mathe-Textaufgaben, aber weniger Allgemeinwissen als Qwen 3.8, ein erfundener Nobelpreis und ein Dienstag, der zum Mittwoch wurdeDer Tokenizer: 27 Prozent weniger Token für Behördendeutsch, 41 Prozent für lange Komposita, Englisch gleichauf. Wo man das Deutsche wirklich merktDie Schreibproben: Leichte Sprache, ein Gedicht im Stil von Wilhelm Busch, Sächsisch und Doppel-s statt EszettWofür wir Kolibri einsetzen würden und was mit einem Modell, das keine Woche alt ist, noch offen istDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

    199 - Kolibri im Test

  5. Oct 5

    198 - Claude Code Mods

    Bis letzte Woche konnte man den Coding-Agenten von Anthropic bitten, sich an eine Regel zu halten. Seit dem 1. Oktober kann man ihn zwingen: mit Mods, kleinen TypeScript-Modulen, die sich in fast jeden Schritt des Agenten einklinken. Selbst gebaut hatten wir noch keinen, also haben wir den Agenten gebeten, einen für sich selbst zu bauen. Wie Mods technisch funktionieren: Ereignisse, eine Kette von Funktionen und `next`. Was man vorher umschreiben, nachher auswerten oder ganz ersetzen kann, und wie sich das von der Datei mit den Projektregeln, von klassischen Hooks und von Plugins unterscheidetIst das derselbe Weg wie beim DeepSeek Harness, in dem alles ein Plugin ist? In der Richtung ja, im Prinzip neinUnser Test: ein Schwärzer, der IBANs, E-Mail-Adressen und API-Schlüssel ersetzt, bevor das Modell sie sieht. 58 Zeilen, zwei grüne Tests, und trotzdem nicht ganz das, was er zu sein scheintKeine Sandbox: was ein Mod alles darf und warum wir das für ehrlich haltenWas man damit künftig baut: den Firmen-Mod statt der Datenschutzschulung, einen Kostenwächter, einen Leitstand, der nicht mehr wie ein Chat aussieht. Und welches Risiko bei Mods aus fremden Quellen mitkommtDie Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

    198 - Claude Code Mods

  6. Oct 2

    197 - Tool Calling

    Unser Agent sollte in einer Datei einen Eintrag ergänzen. Hinterher stand genau einer drin: der neue. In Stufe vier unserer Agentenreihe geht es um Tool Calling, bei manchen Anbietern Function Calling genannt, also darum, wie ein Modell Werkzeuge benutzt. Und um die Frage, wer diese Datei eigentlich überschrieben hat. Die Grundmechanik: Der Harness gibt dem Modell eine Liste von Werkzeugen mit, jeweils Name, Beschreibung und Parameterschema. Was nicht in der Liste steht, existiert für das Modell nichtDas Modell entscheidet in jeder Runde zwischen Antwort und Tool-Call. Es führt nichts aus, es äußert einen Wunsch, ausführen tut der HarnessDie Schleife: Ergebnis an den Verlauf, alles zurück ins Modell, bis eine normale Antwort kommt. Hier wird aus einem Chatbot ein Agent, und jedes Ergebnis kostet in jeder weiteren Runde KontextWerkzeugbeschreibungen sind Prompt: Warum ein Werkzeug namens „Suchen“, das nur im Wiki sucht, für jede Suche genommen wird, und warum acht gut beschriebene Werkzeuge mehr bringen als vierzig halbgareAls Nächstes in der Reihe: warum Tool Calling in der Praxis kippt. Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

    197 - Tool Calling

  7. Sep 30

    196 - DeepSeek Harness

    DeepSeek hat diesmal kein neues Modell veröffentlicht, sondern die Software drumherum: DeepSeek Harness, eine quelloffene Laufzeitumgebung für Agenten, in der alles ein Plugin ist. Das Modell, die Werkzeuge, die Agentenschleife und sogar der System-Prompt. Wir haben den Slogan ernst genommen und nachgeschaut, was er technisch heißt, durchgespielt an unserem eigenen Agenten Kuno, der im Terminal, über WhatsApp und über einen kleinen Roboter antwortet und eine neue Fähigkeit bekommen soll. Was das Harness ist: MIT-Lizenz, Developer Preview, gebaut auf dem Plugin-Framework Cordis in TypeScript, und nicht an ein Modell von DeepSeek gebundenDer Plugin-Vertrag: Name, benötigte Dienste, Startfunktion. Abhängigkeiten statt Reihenfolge, und jede Anmeldung wird beim Entladen von selbst zurückgenommenDer System-Prompt als Sammlung benannter Abschnitte, bei jeder Anfrage neu zusammengesetzt, global oder je Agent, mit Protokoll für das AuditEine Fähigkeit als ein Paket aus Werkzeug, Prompt-Abschnitt und Regel, das sich zur Laufzeit nachladen lässt. Und was das am Caching kostetEin Agent, der je Kanal anders antwortet, mit einem einzigen PluginNachladen nach Bedarf und das Kanal-Plugin sind unsere eigenen Entwürfe, nicht aus der Dokumentation. Als Nächstes bauen wir das Kanal-Plugin für Kuno mit einem lokalen Modell nach. Zum Nachlesen: DeepSeek Harness auf GitHub: https://github.com/deepseek-ai/deepseek-harness Cordis Primer: https://github.com/deepseek-ai/deepseek-harness/blob/master/docs/cordis-primer.md Subsystem-Doku System-Prompt: https://github.com/deepseek-ai/deepseek-harness/blob/master/docs/subsystems/system-prompt.md Extension Cookbook: https://github.com/deepseek-ai/deepseek-harness/blob/master/docs/cookbook/extension-cookbook.md Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

    196 - DeepSeek Harness

  8. Sep 28

    195 - OpenWork

    Claude Cowork arbeitet mit den Modellen von Anthropic, und mit keinen anderen. OpenWork ist das quelloffene Gegenstück: eine Desktop-App auf OpenCode, bei der du das Modell selbst aussuchst, per Schlüssel eines großen Anbieters oder lokal. Wir haben es selbst noch nicht benutzt, die Folge ist ein erster Blick anhand von Herstellerangaben, Dokumentation und den Diskussionen der Entwickler. Durchgespielt an einer Aufgabe, die jedes Büro kennt: dem Bericht am Montagmorgen. Was OpenWork technisch ist: eine Oberfläche für Mac, Windows und Linux, darunter arbeitet OpenCodeGeplante Aufgaben: ein normaler Satz wird zur Auftragsdatei, gestartet vom Zeitplaner des Betriebssystems. Was passiert, wenn der Rechner aus ist oder der Agent eine Rückfrage hätteDatenbank über MCP und die Übersichtsseite als Artefakt neben dem Gespräch. Und die zwei Funktionen, die laut Hersteller noch fehlenVom einen Rechner zum Team: was man hostet und was nicht, Docker oder gehostet (fünf Plätze frei, danach zehn Dollar je Platz im Monat), und warum die Lizenz einen zweiten Blick lohntDaten im Haus gibt es nur mit lokalem Modell. Was das für den Vergleich mit Cowork bedeutetWir wollen unseren eigenen Ablauf in OpenWork nachbauen und suchen dafür echte Fälle: Was gebt ihr Cowork heute zu tun, und hat jemand OpenWork schon laufen? Schreibt uns per Mail, über WhatsApp oder in die Kommentare. Zum Nachlesen: OpenWork, Projekt und Quellcode: https://github.com/different-ai/openwork OpenWork, Herstellerseite mit Vergleichstabelle und Preisen: https://openworklabs.com/ Selbst hosten, Dokumentation: https://openworklabs.com/docs/start-here/self-host Der Scheduler für geplante Aufgaben: https://github.com/different-ai/opencode-scheduler OpenCode: https://opencode.ai Die Stimmen in diesem Podcast sind künstlich erzeugt. Die Inhalte stammen von uns.

    195 - OpenWork
See All (203)

About

Ein KI-generierter Podcasts rund um die Entwicklung von und mit KI. News, Updates und interessante Hintergrundinformationen für den professionellen Einsatz von KI hinaus. Ohne Hype und Buzzwords. Die KI-Gilde ist ein Angebot der YnotBetter UG.

Information

  • Creator
    KI-Gilde
  • Years Active
    2025 - 2026
  • Episodes
    203
  • Rating
    Clean
  • Copyright
    © KI-Gilde
  • Show Website
    Prompt und Antwort

You Might Also Like