Aby to vědci otestovali, vytvořili hypotetickou společnost pro vývoj softwaru s názvem ChatDev. Na základě vodopádového modelu – sekvenčního přístupu k tvorbě softwaru – byla společnost rozdělena do čtyř fází v chronologickém pořadí: návrh, kódování, testování a dokumentace.
PUBLICITA
Odtud výzkumníci přiřadili robotům AI specifické funkce. Během každého kroku spolu chatboti mluvili s minimálním zásahem člověka, aby dokončili konkrétní části procesu vývoje softwaru, dokud nebyl software dokončen.
Po zadání 70 úkolů ChatDev studie zjistila, že společnost založená na umělé inteligenci byla schopna dokončit celý proces vývoje softwaru. „za méně než sedm minut, za cenu méně než jeden dolar“, v průměru – to vše při identifikaci a řešení „potenciálních zranitelností“. Asi 86,66 % vytvořených softwarových systémů fungovalo podle výzkumníků bezchybně.
