Verbos: AI og Softwareudvikling Kasper Junge og Jonas Høgh Kyhse-Andersen

I dag har vi fået Jørgen Kragh Jakobsen i studiet til at gøre os klogere på, hvordan man udvikler mikrochips. Jørgen har mange års erfaring inden for IC-design (mikrochipdesign) og har en dyb indsigt i udviklingsprocessen, markedet for mikrochips, mikrochipudvikling i Danmark og ikke mindst de ændringer inden for feltet, som er opstået i de seneste par år på grund af open source. Dette afsnit skal du glæde dig til! Vi var i hvert fald lutter øre og helt blæst bagover over alt den viden, Jørgen delte under samtalen. God fornøjelse!



Find Jørgen på LinkedIn: https://www.linkedin.com/in/j%C3%B8rgen-kragh-jakobsen-52a972/

Børsen i København brændte i går, og der er stemning for at den skal genopbygges. Men hvordan gør man det og kan man bruge AI til at hjælpe med det? Det taler vi om i denne uges afsnit af Verbos Podcast.

Links:

NERFs: https://youtu.be/wKsoGiENBHU?si=eMCYZDPnJ4NY7PbP

Gaussian Splatting: https://youtu.be/VkIJbpdTujE?si=F0vrTvm1QQwVuGrb

Nerfstudio: https://docs.nerf.studio/

Point-E: https://openai.com/research/point-e

Depth Estimation Model: https://huggingface.co/Intel/dpt-large

I denne episode tager vi i anledning af Dansk Data Science Communitys generalforsamling på fredag et tilbageblik på, hvad der er sket i det danske AI- og data science-miljø i det seneste år. Med som gæst har vi Kasper Groes Albin Ludvigsen som er bestyrelsesmedlem i Dansk Data Science Community.

I denne omgang af Verbos gennemgår vi en håndfuld af de vigtigste nyheder i AI- og softwareverdenen. Vi taler om:


DBRX: en ny åben state-of-the-art LLM fra Databricks/MosaicML.
JAMBA: en ny åben produktionsmoden generativ state-space/transformer sprogmodel fra israelske AI21 Labs, som kan håndtere kontekstvindueslængder, som er hidtil usete for åbne sprogmodeller.
xz Utils-backdoor: En skjult backdoor blev implementeret i den populære kompressionssoftware xz Utils over en periode på tre år. Denne backdoor kunne have tilladt skaberen at oprette forbindelse til servere, der kører Linux-versioner med denne pakke installeret, og køre vilkårlig kode med superbrugerrettigheder. Heldigvis opdagede en udvikler fra Microsoft denne sårbarhed, før den nåede at blive frigivet i xz Utils.
Et hold forskere har fundet ud af, at man kan slette op til 50% af lagene på Llama-modeller, uden at miste mærkbar performance, hvilket potentielt kan bane vejen for mere effektive LLM'er.



Links:


https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
https://www.ai21.com/blog/announcing-jamba
https://arxiv.org/pdf/2403.19887.pdf
https://arstechnica.com/security/2024/04/what-we-know-about-the-xz-utils-backdoor-that-almost-infected-the-world/
https://github.com/libarchive/libarchive/pull/1609

Hvem bliver den første til at få en røvfuld af en AI-robot? I denne uge har vi ladet os inspirere af virksomheden Figures speech-to-speech-demonstration af deres robot, Figure 01, som de har udviklet i samarbejde med OpenAI. Vi taler om vision-language-action (VLA) modeller, som højst sandsynligt er den model, som ligger bag Figure 01s sprog-billede-action-forståelse. Vi har fået Nicolai Nielsen med på episoden, der har en solid baggrund i computer vision og også ved en hel del om robotter, og derfor kan hjælpe os med at forstå, hvad der sker i forskningen på dette område!


Shownote Links:

Figure 01 speech-to-speech demo: https://youtu.be/Sq1QZB5baNw?si=OxcqQU_9tCjFuXU0

3D-VLA: A 3D Vision-Language-Action Generative World Model: https://arxiv.org/abs/2403.09631



Find Nicolai Nielsen her:
YouTube: https://www.youtube.com/@NicolaiAI

LinkedIn: https://www.linkedin.com/in/nicolaiai/

I dette afsnit af Verbos Podcast bytter vi om på rollerne, og det er i dag vores gæst, Martin Kongshave, som skal interviewe Jonas og Kasper. Martin Kongshave har en baggrund i filosofi og som lærer og er interesseret i at forstå teknikken bag sprogmodellerne, især med henblik på at anvende generativ AI i skolesammenhæng. Det blev til en række gode spørgsmål og førte til mange gode snakke om generativ AI og sprogmodeller!