Ny forskning visar att AI-assistenter misslyckas med var fjärde teknisk uppgift, vilket skapar huvudbry för världens utvecklare.
Det har länge pratats om AI som den ultimata kollegan för programmerare, men färska siffror från University of Waterloo kastar nu en skugga över den bilden. Trots stora framsteg visar studien att även de mest avancerade modellerna har svårt att hålla måttet när det kommer till strukturerade utdata.
Det handlar alltså inte bara om att skriva en text, utan om att följa strikta regler i format som JSON eller XML, något som är helt avgörande för att koden ska fungera i skarpa miljöer.
En felmarginal som oroar
Resultaten från testerna, som omfattade 11 olika språkmodeller, visar att de kommersiella toppmodellerna endast når en precision på omkring 75 procent. För öppna källkodsmodeller ser det ännu mörkare ut med en tillförlitlighet på cirka 65 procent.
Särskilt svårt har verktygen när de ska hantera komplexa strukturer som involverar bilder eller video. Det här innebär i praktiken att var fjärde uppgift som delegeras till en AI riskerar att bli felaktig, vilket kräver omfattande mänsklig kontroll.
Mänsklig tillsyn är fortfarande ett måste
Forskarna bakom studien understryker att vi ännu inte är i närheten av att kunna låta AI-system arbeta helt autonomt med mjukvaruutveckling. Även om stora aktörer som OpenAI och Google har introducerat funktioner för att tvinga fram mer förutsägbara svar, räcker det inte hela vägen fram.
För dig som använder dessa verktyg i vardagen är budskapet tydligt: se AI:n som en experimentell hjälpreda snarare än en självgående kollega. Den mänskliga blicken är fortfarande det viktigaste verktyget i verktygslådan.