Om dit te testen, hebben onderzoekers een hypothetisch softwareontwikkelingsbedrijf opgericht, genaamd ChatDev. Op basis van het watervalmodel – een sequentiële benadering van het maken van software – werd het bedrijf in chronologische volgorde in vier fasen verdeeld: ontwerp, codering, testen en documentatie.
PUBLICITEIT
Van daaruit hebben onderzoekers specifieke functies aan AI-bots toegewezen. Tijdens elke stap praatten de chatbots met elkaar, met minimale menselijke tussenkomst, om specifieke delen van het softwareontwikkelingsproces te voltooien totdat de software voltooid was.
Nadat ChatDev 70 taken had toegewezen, bleek uit het onderzoek dat het door AI aangedreven bedrijf het hele softwareontwikkelingsproces kon voltooien “in minder dan zeven minuten, tegen een kostprijs van minder dan een dollar”, gemiddeld – en dat allemaal terwijl “potentiële kwetsbaarheden” worden geïdentificeerd en opgelost. Volgens de onderzoekers draaide 86,66% van de gegenereerde softwaresystemen feilloos.