Hugging Face lança novos modelos de geração de código StarCoder

O StarCoder original, construído em conjunto com o ServiceNow, foi lançado em maio passado. Esta nova versão, StarCoder2, pode gerar código em mais de 600 linguagens de programação.

O StarCoder2 vem em três tamanhos, mas foi projetado para ser pequeno – a versão maior tem 15 bilhões de parâmetros – para que os desenvolvedores possam executá-lo com mais eficiência em seus PCs.

As novas versões do StarCoder também são mais poderosas, com o menor do grupo correspondendo ao desempenho do modelo original de 15 bilhões de parâmetros do StarCoder. StarCoder2-15B é o melhor em sua classe de tamanho e corresponde a modelos com o dobro do seu tamanho.

Participação da Nvidia

Uma nova adição ao projeto StarCoder foi a Nvidia. A infraestrutura da gigante fabricante de chips de IA foi usada para treinar a versão de 15 bilhões de parâmetros. A ServiceNow treinou o modelo 3B enquanto a Hugging Face assumiu a responsabilidade pela versão 7B.

A Nvidia também utilizou sua estrutura NeMo usada no desenvolvimento do maior modelo StarCoder2. NeMo permite que os usuários criem modelos e serviços de IA generativos personalizados.

Jonathan Cohen, vice-presidente de pesquisa aplicada da Nvidia, disse que seu envolvimento no projeto StarCoder “introduz modelos seguros e desenvolvidos de forma responsável e apoia um acesso mais amplo à IA generativa responsável que acreditamos que beneficiará a comunidade global”.

Para acessar o conjunto de dados, vá para Hugging Face. Para baixá-lo em massa, os usuários precisam obter permissão do Software Heritage e Inria.

Como o The Stack v2 é composto de vários códigos-fonte, há várias licenças a serem enfrentadas, portanto, pode não estar claro se todo o conjunto de dados pode alimentar aplicativos comerciais. Hugging Face compilou uma lista das licenças relevantes para garantir a conformidade.

Leia também: