AI med Jonas & Benjamin

Jonas von Essen

Minnesmästaren Jonas von Essen och fysikern och AI-utvecklaren Benjamin Verbeek diskuterar den snabba AI-utvecklingen. Hosted on Acast. See acast.com/privacy for more information.

Episodes

  1. Oct 10

    10 dagar i San Francisco

    Benjamin har just kommit hem från tio dagar i San Francisco, mitt i en septembermånad där det kom en stor AI-nyhet nästan varje dag. Han satt på OpenAI:s kontor när GPT-6 Astra släpptes, läste om Navier–Stokes vid morgonkaffet och tog tunnelbanan till METR, organisationen som granskar AI-labben. Och han upptäckte att även väldigt smarta människor i branschen inte hade läst rapporterna som alla borde ha läst. Jonas von Essen (tvåfaldig världsmästare i minne) och Benjamin Verbeek (AI-utvecklare och fysiker) pratar om hur det känns inifrån: varför oron växer ju närmare fronten man kommer, modellerna som genast förstår att de testas, agenten som tog sig ut ur sin sandlåda för att svara på en enkel fråga, och varför oberoende granskning och obligatorisk incidentrapportering kan vara det mest konkreta nästa steget. Inspelat 1 oktober 2026. Se avsnittet på Youtube: https://youtu.be/Oos74MUEgs4 Ny på alignment? I avsnitt 3 går vi igenom varför en AI som inte är ond ändå kan bli farlig: https://youtu.be/fwhFwW-Vcl4?si=8R2bJE2wGl78yvaN Kapitel: 0:00 Välkommen hem från San Francisco 1:04 September på plats: Astra och Pace the Frontier 2:03 En utomjordisk intelligens 4:55 Smarta människor som inte läst rapporten 8:26 AI-expert är inte samma sak som AI-säkerhetsexpert 10:27 Några hundra personer vid fronten 12:46 Navier–Stokes-morgonen 16:03 Tidslinjen trycks ihop 18:04 Från matematik till medicin 20:38 Samma förmåga, åt båda hållen 24:19 Vending-Bench: modeller som vet att de testas 27:30 Flygplanen som inte kom tillbaka 31:00 Ett släpp som stoppas, en träning som pausas 33:46 Agenten som tog sig ut 37:05 När säkerheten blir affärskritisk 39:35 Kan säkerheten fälla börsen? 42:26 Besöket hos METR 49:13 collusion.wiki och incidenterna som inte rapporterades 52:16 Europa har knappt börjat 54:33 Tack för att ni lyssnar Vad kan jag göra? Jonas samlar länkar, en mejlmall till politiker och ett nyhetsbrev här: https://jonasvonessen.se/agera/ Källor och länkar finns i YouTube-beskrivningen. Hosted on Acast. See acast.com/privacy for more information.

    10 dagar i San Francisco
  2. Sep 27

    Alignment: varför en AI som inte är ond ändå kan bli farlig

    En AI-modell fick veta att den skulle stängas av. I mejlkorgen hittade den att forskaren som fattat beslutet var otrogen och började utpressa honom. Det var ett testscenario hos Anthropic, men varför gör en modell så när ingen har bett den om det? Det här avsnittet går till botten med alignment-problemet: kärnan i hela AI-säkerhetsdebatten. Jonas och Benjamin förklarar varför självbevarelsedrift uppstår av sig själv när man tränar modeller att lösa problem, vad Hugging Face-incidenten och de kapade tyska diskussionsforumen faktiskt visade, hur Anthropics utpressningsstudie gick till, och varför "sandbagging" är det som oroar forskarna mest just nu. Med gorillor, ett låst klassrum, en kafferobot och hundra agenter med ett kreditkort. Inspelat 23 september 2026. Kapitel: 0:00 Kallöppning: Att låtsas vilja väl 0:28 Vilken tid att driva en AI-podd i 0:52 September i korthet 4:48 Även de lugna forskarna är oroliga 8:18 Orden vi saknar 9:19 Kan en AI tänka och vilja? 14:01 Gorillor och människor 17:58 Behöver den en kropp? 22:00 Att förmänskliga AI:n 22:47 Så tränas modellerna 24:22 Det låsta klassrummet 26:39 Odlas fram, inte byggs 27:45 Instrumentell konvergens 29:26 Kafferoboten 31:22 Den tyske administratören 33:37 Utpressningsstudien 36:01 Whack-a-mole 39:51 Sandbagging 40:50 När allt ser perfekt ut 41:45 Ren selektion 43:34 Hundra agenter och ett kreditkort 47:45 Varför inte dra ur sladden? 54:33 Mänskligheten mot AI 55:52 Avslutning Vill du göra något? Jonas samlar länkar, en mejlmall till politiker och ett nyhetsbrev på https://jonasvonessen.se/agera/ Källor finns i YouTube-beskrivningen. Hosted on Acast. See acast.com/privacy for more information.

About

Minnesmästaren Jonas von Essen och fysikern och AI-utvecklaren Benjamin Verbeek diskuterar den snabba AI-utvecklingen. Hosted on Acast. See acast.com/privacy for more information.

You Might Also Like