Verbos: AI og Softwareudvikling Kasper Junge og Jonas Høgh Kyhse-Andersen

I denne uger taler vi om Llama 3 og det ny danske sprogmodels konsortium som netop er annonceret!

Denne uges afsnit er optaget til konferencen Applied AI Nordics 2024 i DR Byen. Vi har 4 af konferencens talere med foran mikrofonen til at dele deres indsigt i anvendt AI. Gæsterne er Joachim Bingel fra Podimo, Natasha Norsker fra Todai og Women in AI Denmark, Rasmus Nyeland fra Crayon og Casper Guldager fra KPMG NewTech.

I dag har vi fået Jørgen Kragh Jakobsen i studiet til at gøre os klogere på, hvordan man udvikler mikrochips. Jørgen har mange års erfaring inden for IC-design (mikrochipdesign) og har en dyb indsigt i udviklingsprocessen, markedet for mikrochips, mikrochipudvikling i Danmark og ikke mindst de ændringer inden for feltet, som er opstået i de seneste par år på grund af open source. Dette afsnit skal du glæde dig til! Vi var i hvert fald lutter øre og helt blæst bagover over alt den viden, Jørgen delte under samtalen. God fornøjelse!



Find Jørgen på LinkedIn: https://www.linkedin.com/in/j%C3%B8rgen-kragh-jakobsen-52a972/

Børsen i København brændte i går, og der er stemning for at den skal genopbygges. Men hvordan gør man det og kan man bruge AI til at hjælpe med det? Det taler vi om i denne uges afsnit af Verbos Podcast.

Links:

NERFs: https://youtu.be/wKsoGiENBHU?si=eMCYZDPnJ4NY7PbP

Gaussian Splatting: https://youtu.be/VkIJbpdTujE?si=F0vrTvm1QQwVuGrb

Nerfstudio: https://docs.nerf.studio/

Point-E: https://openai.com/research/point-e

Depth Estimation Model: https://huggingface.co/Intel/dpt-large

I denne episode tager vi i anledning af Dansk Data Science Communitys generalforsamling på fredag et tilbageblik på, hvad der er sket i det danske AI- og data science-miljø i det seneste år. Med som gæst har vi Kasper Groes Albin Ludvigsen som er bestyrelsesmedlem i Dansk Data Science Community.

I denne omgang af Verbos gennemgår vi en håndfuld af de vigtigste nyheder i AI- og softwareverdenen. Vi taler om:


DBRX: en ny åben state-of-the-art LLM fra Databricks/MosaicML.
JAMBA: en ny åben produktionsmoden generativ state-space/transformer sprogmodel fra israelske AI21 Labs, som kan håndtere kontekstvindueslængder, som er hidtil usete for åbne sprogmodeller.
xz Utils-backdoor: En skjult backdoor blev implementeret i den populære kompressionssoftware xz Utils over en periode på tre år. Denne backdoor kunne have tilladt skaberen at oprette forbindelse til servere, der kører Linux-versioner med denne pakke installeret, og køre vilkårlig kode med superbrugerrettigheder. Heldigvis opdagede en udvikler fra Microsoft denne sårbarhed, før den nåede at blive frigivet i xz Utils.
Et hold forskere har fundet ud af, at man kan slette op til 50% af lagene på Llama-modeller, uden at miste mærkbar performance, hvilket potentielt kan bane vejen for mere effektive LLM'er.



Links:


https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm
https://www.ai21.com/blog/announcing-jamba
https://arxiv.org/pdf/2403.19887.pdf
https://arstechnica.com/security/2024/04/what-we-know-about-the-xz-utils-backdoor-that-almost-infected-the-world/
https://github.com/libarchive/libarchive/pull/1609