Key takeaways

• Ervaren softwareontwikkelaars die geavanceerde AI-tools gebruiken, ervaren mogelijk tragere ontwikkeltijden op vertrouwde codebases.
• De effectiviteit van AI is sterk afhankelijk van de context en specifieke ontwikkelingstaken.
• Ontwikkelaars geven bij het kiezen van AI-tools vaak de voorkeur aan gebruiksgemak boven pure snelheid.

Uit een recent onderzoek van METR, een onafhankelijke onderzoeksorganisatie, zorgen geavanceerde AI-tools zoals Cursor juist voor langzamere ontwikkeltijden bij vertrouwde codebases.

Ervaren softwareontwikkelaars die deelnamen aan de studie, gingen ervan uit dat AI hun werk zou versnellen. Vooraf voorspelden zij gemiddeld een tijdwinst van 24 procent bij het gebruik van AI. Zelfs na het gebruik van de tool verwachtten ze nog steeds een besparing van 20 procent. In werkelijkheid bleek het omgekeerde: de tijd om een taak te voltooien steeg met gemiddeld 19 procent.

Effectiviteit van AI hangt af van context

De onderzoekers toonden zich verrast over deze resultaten en merkten op dat ze voorafgaand aan het onderzoek een aanzienlijke versnelling hadden verwacht. Deze bevinding is een uitdaging voor de heersende opvatting dat AI de productiviteit van ontwikkelaars steevast verhoogt. Die overtuiging vormt nochtans de basis voor forse investeringen in AI-ondersteunde ontwikkeltools.

Andere studies toonden eerder wel forse efficiëntiewinsten. Zo wees één onderzoek op een snelheidsverhoging van 56 procent, en een ander stelde vast dat ontwikkelaars 26 procent meer taken uitvoerden. Dit meldt Reuters. Het METR-onderzoek nuanceert die bevindingen. Het wijst erop dat de voordelen van AI niet universeel zijn en sterk afhangen van de context. Dit specifieke onderzoek richtte zich op ervaren ontwikkelaars die werkten aan grote, gevestigde codebases, die ze goed kenden.

De rol van AI in softwareontwikkeling

De vertraging die in het onderzoek werd waargenomen, werd toegeschreven aan het feit dat ontwikkelaars de suggesties van de AI moesten bekijken en corrigeren. Die waren vaak richtinggevend correct, maar sloten niet altijd nauw aan bij de specifieke eisen van de taak.

Ondanks de vertraging die in dit scenario werd waargenomen, erkennen de auteurs dat de voordelen van AI zich kunnen uitstrekken naar andere contexten. Zo zouden jonge ingenieurs of ontwikkelaars die aan onbekende codebases werken meer baat hebben bij AI-hulp.

Het is interessant dat de meerderheid van de deelnemers aan het onderzoek, inclusief de auteurs zelf, Cursor blijven gebruiken. Niet om sneller te zijn, maar omdat het de ontwikkelervaring aangenamer maakt. Veel ontwikkelaars verkiezen gebruiksgemak en werkplezier boven pure snelheid. (jv)