For å teste dette opprettet forskere et hypotetisk programvareutviklingsselskap kalt ChatDev. Basert på fossefallmodellen – en sekvensiell tilnærming til å lage programvare – ble selskapet delt inn i fire stadier i kronologisk rekkefølge: design, koding, testing og dokumentasjon.
REKLAME
Derfra tildelte forskere spesifikke funksjoner til AI-roboter. Under hvert trinn snakket chatbotene med hverandre med minimal menneskelig innblanding for å fullføre spesifikke deler av programvareutviklingsprosessen til programvaren var ferdig.
Etter å ha tildelt 70 oppgaver til ChatDev, fant studien at det AI-drevne selskapet var i stand til å fullføre hele programvareutviklingsprosessen «på mindre enn syv minutter, til en pris på mindre enn en dollar», i gjennomsnitt – alt mens de identifiserer og løser "potensielle sårbarheter". Omtrent 86,66 % av de genererte programvaresystemene kjørte feilfritt, ifølge forskerne.
