Komplexit Komplexit

Idag fortsätter vi samtalet med Chalmersprofessorerna Richard Torkar och Robert Feldt. Vi diskuterar bl.a. sambandet mellan orsak och verkan. Människan har en stark förmåga att se riktningen i detta samband men det är inte så enkelt för AI. Men vi börjar med att samtala om hur samarbetet mellan industri och akademi kan förbättras för att gynna båda parter? Hur hittar vi nya ämnen att forska kring? Sedan snöar vi in oss i statistiska termer och trasslar till det rejält kring begreppet kausal inferens. Vi återkommer till skillnaden mellan korrelation och kausalitet, vi pratar om potentialen som kausala modeller har för att simulera och ta fram hypotetiska scenarier.

I detta avsnitt påbörjar vi vårt samtal med Richard Torkar samt Robert Feldt vid Chalmers för att höra var akademin står idag - och vilket höjdarsamtal det blev! Därför har vi delat upp det i flera små godbitar till pod-avsnitt och detta är det första. Här mjukstartar vi med att prata om industrins genererella syn på användbarheten av statistiska modeller i praktiken, vi pratar om teknisk skuld samt broken window theory. Vi får även höra hur Pelle blev lurad att tvätta bilen när han var liten samt hur vi bör testa neurala nätverk lite som man simtränar ett barn - med små utmaningar som blir succesivt svårare ju mer simförmågan utvecklas.







Referenser till studier som nämns i samtalet:







W. Levén, H. Broman, T. Besker, and R. Torkar. The broken windows theory applies to technical debt. arXiv preprint, arXiv:2209.01549, 2022ACM Transactions on Software Engineering and Methodology, 2022-07-06 | Journal article, DOI: 10.1145/3546947, CONTRIBUTORS: Jinhan Kim; Robert Feldt; Shin Yoo







The Ethics Guidelines for Trustworthy Artificial Intelligence (AI) - EU commission 2019

I detta avsnitt fortsätter vi samtalet om bias och hur det kan förleda oss att bli partiska. Vi pratar om att outliers även kan berätta en värdefull historia samt vad som händer om vi betraktar och hanterar defekter som observationer.







Vi börjar skissa på en modern defektlivscykel samt filosoferar vad framtiden kan ha att ge inom vårt område, en framtid där vi ser oss som mentorer istället för tekniker åt våra system. Hur säkerställer vi att våra framtida system inte börjar divergera från de förväntningar vi har på det beträffande beteende, moral och etik. Hur ska vi beskriva nyfikenhetAsCode?







Fredrik lär sig även glädjande ett nytt ord, inferens - slutsats. Vi börjar även samtala om neurala nätverk - men det har inte Fredrik börjat greppa ännu på djupet.

I detta avsnitt gräver vi djupare i diskussionsämnen såsom:







* Hur vi ser på observationer, hur vi bemöter dem på ett objektivt vis.* Fredrik förklarar varför han har stora problem med ordet ‘evidensbaserat’* Pelle beskriver grunden för prediktiv analys genom det målande exemplet kring en politisk valundersökning.* Vi börjar nosa på området kring bias, där vi tar upp olika felkällor till vår analys och vi kommer naturligt in på ämnet kring olika urvalsmetoder som ett redskap.

I detta avsnitt börjar vi med att diskutera ett exempel-case - en webhandel vill möjliggöra för kunderna att använda Klarna som betalningsmetod.







När utvecklingen närmar sig sitt slut så kommer oundvikligen att frågan ställas; Funkar det nu?







För att svara på den övergripande frågeställningen måste vi bryta ner den i mindre testbara delar:







- är förändringen i produktion?







- Hur har testerna i testmiljöerna sett ut?







Men - vad viktigare är - vad är beställarens intention kring vilken bakomliggande effekt som önskas ut av denna förändring egentligen?







- Ökad omsättning?







- Ökad retention?







- Ökad kundnöjdhet?







- Mer trafik till e-handelsplatsen? .







...eller en önskan kring en blandning av dessa? Alla dessa aspekter går mäta, det går att extrahera indikatorer ut ur produktionsmiljöerna som är relaterade till dessa önskade effekter, men hur analyserar vi den data vi samlar in?







Vi pratar om 0-hypoteser, signifikansnivåer och konfidensintervall. För vem skulle inte vilja svara av frågan ’Funkar det nu?’ Med:







- ”ja, lösningen är i produktion, i genomsnitt 60% av kunderna använder numera Klarna och efter vi införde denna förändring har omsättningen samt retention gått upp med 5% - det är statistiskt säkerställt. Däremot kan vi inte märka någon förändring på kundnöjdhet samt besöksintensitet”







I detta avsnitt kan man märka att Fredrik börjar fatta konceptet med 0-hypoteser men att han fortfarande har svårt att greppa konfidensintervall och signifikans. Men det finns hopp om det, i kommande avsnitt kanske hans synapser trillar på plats.

Avsnitt 1 - pilotavsnittet, mellan kausalitet och blöjbyten







Medverkande: Per Marcus och Fredrik Scheja















Var med från början när två alternativfokuserade pappahjärnor försöker att prata seriöst och diskutera vetenskaplig analys inom professionen för programvarutest. I ärlighetens namn resulterar det i mest svammel, men svammel med potential. Så i detta avsnitt förs initiala samtal mellan Fredrik och Pelle och därigenom har vi sannerligen fått öva oss i den ädla konsten i så kallad kreativ klippning. Den röda tråden gömmer sig där någonstans.







Vad avsnittet handlar om är:









- Att syftet med statistik och analys är framtagande av tydliga beslutsunderlag.









- Vid olika kvalitetsrelaterade frågeställningar finns ett behov av mer eller mindre genomarbetad analys. 







- Analysen glöms ofta bort i många utvecklingsorganisationer då analytisk kompetens inte är en beståndsdel i vare sig testarens eller beslutfattarnas profession utan att den ofta hamnar mellan stolarna.







- Skillnaden på kausalitet och korrelation 







- Hur vi skulle kunna arbeta praktiskt med hypoteser inom mjukvaruutveckling







- Att det egentliga syftet med test är insamling av data - när en maskin samlar in data åt oss kallas det testautomation.







Följ oss när vi vidareutvecklar dessa tankegångar och andra exempel samt djupdykningar framöver i kommande avsnitt!