Lokale KI – kurz erklärt

JULITH GmbH
  • 5,0 (1)
  • Technologie
  • Wöchentlich

Lokale KI – kurz erklärt ist der Podcast für alle, die künstliche Intelligenz im eigenen Unternehmen betreiben wollen – auf eigener Hardware, unter eigener Kontrolle, DSGVO-konform. Jeden Dienstag erklärt Thomas RIEHN, Geschäftsführer der JULITH GmbH, in wenigen Minuten ein Thema rund um lokale KI: Sprachmodelle auf eigener Hardware, RAG und Vektordatenbanken, Kosten, Datenschutz, typische Fallstricke. Kurz, verständlich, ohne Marketing-Nebel – für Geschäftsführung, IT-Leitung und alle, die mitreden wollen. Ein Podcast der JULITH GmbH · julith.gmbh Fragen und Themenwünsche: podcast@julith.gmbh

  1. Folge 1

    #01 – Was ist lokale KI – und was nicht?

    Was heißt „lokale KI“ eigentlich – und was ist nur Cloud im neuen Gewand? In Folge 1 geht es um die drei Merkmale lokaler KI, drei Gründe dafür, die vier Bausteine, die man braucht, und drei Irrtümer, die sich hartnäckig halten. Praxis-Tipp zum Schluss: die KI-Inventur in drei Fragen. Kapitel 00:00 Cold Open · 00:32 Begrüßung · 01:11 Was „lokal“ bedeutet · 02:45 Warum lokal? · 04:17 Was man dafür braucht · 05:43 Drei Irrtümer · 06:35 Praxis-Tipp: Die KI-Inventur · 07:14 Ausblick auf #02 Fragen und Themenwünsche: podcast@julith.gmbh Im Fediverse folgen: @LocalAIHero@podcasts.julith.gmbh Ein Podcast der JULITH GmbH.

    #01 – Was ist lokale KI – und was nicht?

  2. Folge 2

    #02 – Cloud-KI vs. lokal: Was sind die Kosten?

    Cloud-KI kostet pro Kopf, lokale KI kostet einmal – aber ab wann rechnet sich was? In Folge 2 rechnen wir ein Unternehmen mit 20 Nutzern über drei Jahre durch: Lizenzen, Token, Hardware, Strom und Betrieb. Dazu die versteckten Kosten auf beiden Seiten und eine Rechnung, die Sie mit vier Zahlen selbst aufstellen können. Ergebnis: Bei 20 Nutzern ist lokale KI ab Monat 28 günstiger und spart über drei Jahre rund 2.070 €. Bei 10 Nutzern kippt die Rechnung erst nach gut neun Jahren, bei 50 Nutzern mit zwei Geräten ab Monat 16. Alle Preise netto, Stand 30.09.2026. Grafik zur Folge: Break-even: Cloud gegen lokal Kapitel 00:00 Cold Open · 00:30 Begrüßung · 01:28 Was Cloud-KI kostet · 03:35 Was lokale KI kostet · 04:54 Das Rechenbeispiel: 20 Nutzer, 3 Jahre · 06:30 Versteckte Kosten · 07:21 Praxis-Tipp: Ihre Rechnung in vier Zahlen · 07:59 Ausblick auf #03 Links und Quellen ChatGPT Business: 20 $/Nutzer/Monat bei Jahreszahlung, 25 $ monatlich Microsoft 365 Copilot: Business 18,20 €, Enterprise 26,00 € netto Aktionspreis Copilot Business 15,60 € OpenAI API: GPT-6.1 Sol 2 $ Eingabe / 10 $ Ausgabe pro Mio. Token DGX Spark im Handel ab 5.899 € brutto DGX Spark Preiserhöhung von 3.999 $ auf 4.699 $, bei NVIDIA 4.800 € BDEW-Strompreisanalyse August 2026: kleine bis mittlere Industrie 17,2 ct/kWh

    #02 – Cloud-KI vs. lokal: Was sind die Kosten?

  3. Folge 3

    #03 – Welche Hardware braucht ein kleines Unternehmen wirklich?

    Mini-PC, KI-Box oder Server – und warum eine Gaming-Grafikkarte gerade mehr kostet als ein kompletter KI-Rechner. In Folge 3 geht es um die zwei Kennzahlen, auf die es ankommt: Speicher und Bandbreite. Dazu drei Hardware-Klassen mit aktuellen Preisen, eine Zuordnung nach Unternehmensgröße und der wichtigste Tipp vor dem Kauf. Faustregel: Speicherbedarf ≈ Parameter in Milliarden × 0,6 GB (4-Bit) plus rund 20 % für den Kontext. Preise brutto im Handel, Stand Ende September 2026. Grafik zur Folge: Die drei Hardware-Klassen Kapitel 00:00 Cold Open · 00:40 Begrüßung · 01:20 Worauf es ankommt: Speicher und Tempo · 03:00 Die drei Hardware-Klassen · 04:50 Welche Klasse für wen? · 06:40 Was Sie nicht brauchen · 07:50 Praxis-Tipp: Erst testen, dann kaufen · 08:50 Ausblick auf #04 Links und Quellen GMKtec EVO-X2 (Ryzen AI Max+ 395, 128 GB) ab 3.799 € NVIDIA DGX Spark: 128 GB, 273 GB/s, 240-W-Netzteil, Modelle bis 200 Mrd. Parameter DGX Spark im Handel ab 5.899 € Mac Studio M5 Ultra 256 GB für 10.999 €, 1,2 TB/s RTX 5090 ab 5.741 € wegen Speicherknappheit RTX PRO 6000 Blackwell 96 GB ab 17.999 €

    #03 – Welche Hardware braucht ein kleines Unternehmen wirklich?

  4. Folge 4

    #04 – Ein Sprachmodell in 10 Minuten lokal

    Zehn Minuten, ein kostenloses Programm – und ein Sprachmodell läuft auf Ihrem eigenen Rechner. Auch dann, wenn Sie das WLAN ausschalten. In Folge 4 installieren wir gemeinsam Ollama, wählen das passende Modell für Ihren Arbeitsspeicher und testen es mit Aufgaben aus dem Alltag. Anleitung Ollama herunterladen: ollama.com/download (Mac ab macOS 14, Windows 10/11, Linux) Installieren – Linux: curl -fsSL https://ollama.com/install.sh | sh Modell starten – in der App auswählen oder im Terminal: ollama run gemma4:12b WLAN aus, weiterfragen: Antwortet das Modell, läuft es lokal. Aufräumen: ollama list · ollama rm · ollama ps Modelle nach Arbeitsspeicher 8 GB: qwen3:4b 16 GB: gemma4:12b 16–24 GB: gpt-oss:20b ab 32 GB: qwen3.8:27b Achtung: Modelle mit „cloud“ im Namen laufen nicht lokal. Grafiken zur Folge: Die fünf Schritte als Bild · Modelle nach Arbeitsspeicher Kapitel 00:00 Cold Open · 00:40 Begrüßung · 01:20 Was Sie brauchen · 02:40 Schritt für Schritt: Ollama installieren · 05:00 Welches Modell zum Start? · 06:40 Worauf Sie achten sollten · 07:50 Praxis-Tipp: Drei Testaufgaben · 08:50 Ausblick auf #05 Links und Quellen Ollama unter Windows: Voraussetzungen Die Ollama-App mit Chat-Fenster und Drag & Drop

    #04 – Ein Sprachmodell in 10 Minuten lokal

  5. Folge 5

    #05 - Kleine Modelle, große Wirkung

    Ein Modell mit vier Milliarden Parametern läuft auf jedem Laptop – und ist so gut wie ein Modell, das vor zwei Jahren noch achtzehnmal so groß war. In Folge 5 geht es darum, warum kleine Sprachmodelle so stark geworden sind, für welche Aufgaben sie reichen und wo sie an Grenzen stoßen. Dazu der Größen-Test für Ihre eigenen Aufgaben. Der Größen-Test Gleiche drei Aufgaben (eine E-Mail, eine Zusammenfassung, eine Fachfrage) mit qwen3:4b, gemma4:12b und qwen3.8:27b – das kleinste Modell, das besteht, gewinnt. Die Tempo-Werte in der Folge sind eigene Abschätzungen, keine Messungen. Grafik zur Folge: Tempo auf gleicher Hardware Kapitel 00:00 Cold Open · 00:28 Begrüßung · 00:57 Was ein kleines Modell ist · 02:04 Warum kleine Modelle so gut geworden sind · 03:32 Wofür kleine Modelle reichen · 04:37 Wo sie an Grenzen stoßen · 05:23 Praxis-Tipp: Der Größen-Test · 06:03 Ausblick auf #06 Links und Quellen Qwen3: Qwen3-4B auf dem Niveau von Qwen2.5-72B-Instruct Small Language Models in 2026: 10 to Know (Turing Post) NVIDIA DGX Spark: 273 GB/s Speicherbandbreite Ollama-Bibliothek: neueste Modelle

    #05 - Kleine Modelle, große Wirkung
Gesamte Staffel 1 (5) anzeigen

Bewertungen und Rezensionen

Info

Lokale KI – kurz erklärt ist der Podcast für alle, die künstliche Intelligenz im eigenen Unternehmen betreiben wollen – auf eigener Hardware, unter eigener Kontrolle, DSGVO-konform. Jeden Dienstag erklärt Thomas RIEHN, Geschäftsführer der JULITH GmbH, in wenigen Minuten ein Thema rund um lokale KI: Sprachmodelle auf eigener Hardware, RAG und Vektordatenbanken, Kosten, Datenschutz, typische Fallstricke. Kurz, verständlich, ohne Marketing-Nebel – für Geschäftsführung, IT-Leitung und alle, die mitreden wollen. Ein Podcast der JULITH GmbH · julith.gmbh Fragen und Themenwünsche: podcast@julith.gmbh

Informationen

  • Erstellt von
    JULITH GmbH
  • Folgen
    5
  • Staffeln
    1
  • Bewertung
    Unbedenklich
  • Copyright
    © 2026 JULITH GmbH. Alle Rechte vorbehalten.
  • Sendungswebsite
    Lokale KI – kurz erklärt

Das gefällt dir vielleicht auch