Ogrodje

Ogrodje

Ogrodje je tehnološko / razvijalska skupnost in multimedijska platforma. Modrosti, zablode in izkušnje serijsko.

  1. 3 Nov

    Poletna vročica

    Poletje, vročina in še ena epizoda Ogrodja brez ene same glavne teme. ☀️ Za mikrofone so sedli Andraž Sraka, Andraž Brodnik in Oto Brglez ter naredili pregled tehnologij, orodij in vprašanj, ki so jih zadnje čase najbolj zaposlovala. Ali digitalne stvari, ki jih kupimo, sploh še imamo v lasti? Bomo zaradi umetne inteligence pozabili programirati? Zakaj vsi prepisujejo SQLite in Postgres v Rust? In ali ima Evropa sploh možnost postati digitalno neodvisna? Od Windows XP, Raspberry Pijev in izginjajočih domačih računalnikov do AI agentov, odprte kode, evropske digitalne suverenosti in podatkovnih baz na S3. Vmes pa še konkretna orodja in tehnologije, ki jih uporabljamo pri vsakodnevnem razvoju: pg_cron, pgvector, pg_durable, SlateDB, ZeroFS, Grafana Mimir, tmux, Neovim, Nix in GitOps. Poglavja 00:00:00 Poletna vročica in bilanca stanja 00:00:59 Stari software in digitalno lastništvo 00:09:26 Naročnine in konec klasičnega nakupa 00:12:54 Osebni računalniki in računalniška pismenost 00:26:00 AI spreminja programiranje 00:35:00 AI aplikacije, Strava in podatki 00:44:30 Kdo bo vzdrževal vibe coding? 00:48:30 SQLite, Rust in podatkovne baze 00:56:00 Odprta koda, licence in AI 01:00:35 Evropska digitalna suverenost in Scala 01:04:35 Življenje brez Googla 01:08:55 Ohranjanje tehnološkega znanja v Evropi 01:16:18 Evropske alternative in self-hosting 01:19:37 PostgreSQL in njegove razširitve 01:23:56 S3, SlateDB, ZeroFS in Grafana Mimir 01:29:30 Terminali, AI agenti in GitOps Povezave in omenjene tehnologije Stop Killing Games: stopkillinggames.com SQLite: sqlite.org Turso: turso.tech Scala: scala-lang.org pg_cron: GitHub pgvector: GitHub pg_durable: GitHub SlateDB: slatedb.io ZeroFS: zerofs.net Grafana Mimir: grafana.com Podpri Ogrodje ❤️ Na Patreonu lahko epizode poslušaš in pogledaš predčasno, dobiš pa tudi dodatne bonus vsebine. patreon.com/ogrodje Pridruži se nam tudi na Discordu, kjer nadaljujemo debate in zbiramo ideje za prihodnje epizode. Povezavo najdeš na ogrodje.si. Hvala našim podpornikom in sponzorjem, ki omogočajo nastajanje Ogrodja.

    Poletna vročica
  2. 13 Oct

    Domen Vreš in jezikovni model za slovenščino GaMS

    Frenk Dragar se je pogovarjal z Domnom Vrešem, doktorskim raziskovalcem v Laboratoriju za strojno učenje in jezikovne tehnologije na FRI. Domen v okviru programa PoVeJMo razvija GaMS, slovenski veliki jezikovni model. Šla sta čez celoten recept za gradnjo modela: podatke, računsko moč, faze učenja in evalvacijo. Razliko do velikih laboratorijev je Domen ponazoril s številkami. Llama 3 je bila učena na 15 bilijonih tokenov, slovenski projekt pa je leta 2023 začel z manj kot 10 milijardami. Zato so vzeli obstoječi večjezični model in ga dodatno učili za slovenščino. Na lastnih testih se je najbolje odrezala Googlova Gemma. Trenutni GaMS3 ima 12 milijard parametrov, na voljo je tudi 27-milijardna različica. Učenje poteka v treh fazah: nadaljevano predučenje, nadzorovano učenje navodil in učenje preferenc. Pri prvi sta ozko grlo računska moč in količina podatkov, pri drugi pa kakovost, saj se model vsake napake hitro nauči. Prevedeni podatki so mu dali ameriški naglas, zato je 27-milijardni model šel skozi kulturno prilagoditev, ki jo lahko preizkusite na povejmo.si. Model učijo z NVIDIA NeMo na 512 GPU-jih evropskega superračunalnika Leonardo v Bologni, potem ko so na mariborski Vegi naleteli na težave. GaMS3 je porabil okoli 150.000 GPU ur, na sodobnejši strojni opremi bi jih zadostovalo 10 do 15 tisoč. Prilagoditev za konkretno nalogo, na primer z LoRA, je reda velikosti sto GPU ur. Največji izziv ostajajo podatki, saj je slovenščina jezik z malo viri. NUK je prispeval okoli 10 milijard tokenov starih časopisov in knjig, ki so jih na novo prepoznali z OCR, v naslednjo generacijo pa bo prišel še arhiv STA. Ključni prispevek je odprt model, ki ga podjetja poženejo lokalno in prilagodijo svoji nalogi. To šteje pri občutljivih podatkih, evropski zakonodaji in v zdravstvu. Partnerji Better, Špica, XLAB in Semantika ga preizkušajo v medicini, industriji, avtomatizaciji kode in digitalni humanistiki. Kvantiziran 12-milijardni model teče tudi na močnejši RTX kartici ali Macu. Za konec sta se dotaknila tehnološke suverenosti in evropskih projektov, od poljskega Bielika do OpenEuroLLM. GaMS je na evropskem benchmarku s 44 jeziki med modeli z okoli 10 milijardami parametrov celo zmagal. Naslednja različica GaMS 3.1 bo znala klicati orodja, v načrtu je tudi sklepanje. Hvala za družbo!

    Domen Vreš in jezikovni model za slovenščino GaMS
  3. 8 Sept

    Miha Zidar: Pametnejši razvoj v dobi umetne inteligence

    Jure Čuhalev je govoril z Miho Zidarjem (Fencer) o tem, kako sespreminjata razvoj in način dela z uporabo umetne inteligence in agentov. Odprla sta vprašanja kot so - kaj so agent harnessi oziroma, kot je predlagal Miha, ogrodja, znotraj katerih agent lahko dela? Kako se spreminja vloga in pomen CI/CD? Zakaj in kako so feature togglei izjemno pomembni za hiter terzanesljiv razvoj. Kako zagotoviti zaupanje in varnostne mreže? Kako navigirati čez izzive, ki jih tovrstne oblike razvoja prinesejo in kako biti boljši razvijalec? Miha je zgodbo začel pri zgodovini metodologij. Ker je bil razvijalski čas nekoč izjemno drag, smo okoli razvijalcev gradili ograje - od waterfalla do kasnejših "agilnih" pristopov, ki so cikel skrajšali s šestih mesecev na šest tednov, a so ostali projektno usmerjeni. Število napak na tisoč vrstic kode se kljub temu ni bistveno spremenilo. Zato je boljši pristop od preprečevanja napak omejevanje njihovega dometa: majhni koščki, pogosto v produkcijo. Poanta pogostih deployev ni število, ampak to, da te ni strah poslati kode v produkcijo takrat, ko ti to ustreza - tudi če je to enkrat na teden. In o tem ne sme odločati nekdo drug: če je koda šla čez CI, odloča razvijalec oziroma ekipa. Govorila sta tudi o DORA metrikah in o merjenju ter organizaciji dela dobrih ekip, pri čemer je Miha opozoril, da gre za korelacijo in ne vzročnost - deset deployev na dan samo po sebi ne pomeni dobrega in varnega produkta. Razmišljal je tudi o Swiss cheese modelu, kjer ima vsaka plast varovanja svoje luknje, in oMTTR, ki bi moral biti klik na gumb in ne paničen popravek kode - če moraš za popravek v produkciji pisati kodo, si nekje prej že zgrešil. Precej časa sta namenila drugi plati varoval: varovalo, ki mu ne moreš zaupati, je slabše od nobenega, ker mu ljudje zaupajo bolj, kot bi smeli. Miha je opisal primer avtomatskihperformančnih testov, ki so javljali petodstotne degradacije ob petdesetodstotnem šumu, kar je demonstriral tako, da je iste rezultate "izboljševal" in "kvaril" brez enega samega commita.Enako velja za flaky teste, ki jih ekipa začne ignorirati, in za feature toggle, ki jih Miha priporoča kot največji učinek za najmanj truda, a s pomembnim opozorilom - vsak dodaten toggle je dodatna kompleksnost in kombinacija, ki je nihče ne testira, zato jih je treba čim prej pobrisati. Alternativa je ločen deploy na stranko, kjer je domet napake odstotek prometa.Dotaknila sta se tudi vidljivosti v produkciji in vloge QA ekip, ki lahko razvijalce naredijo manj previdne. Pri agentih se po Mihovem mnenju ponavlja ista zgodba, le da agent nima spomina - ima kontekst, ki ne sme biti prevelik, in se z vsako posodobitvijo modela na novo uči. Znanje, ki se je prejprenašalo med ljudmi v firmi, je zato treba zakodirati v sistem, tako da junior, nov senior z drugačnimi navadami ali agent vsi zadenejo iste dogovorjene standarde. Ko sistem dobi tostabilnost, ljudje dobijo zaupanje, in šele takrat gredo DORA metrike gor same od sebe. Hvala za pozornost in družbo! Se vidimo na našem Discordu - discord.com/invite/xV2Xc4VX9W ✌️

    Miha Zidar: Pametnejši razvoj v dobi umetne inteligence
5
out of 5
36 Ratings

About

Ogrodje je tehnološko / razvijalska skupnost in multimedijska platforma. Modrosti, zablode in izkušnje serijsko.

You Might Also Like