Novo relatório examina o estado da IA ​​empresarial; entenda

O relatório, chamado “The State of AI Infrastructure at Scale 2024: Revelando cenários futuros, principais insights e benchmarks de negócios“, analisa como empresas de vários portes na América do Norte, Europa e Ásia-Pacífico estão construindo sua infraestrutura de inteligência artificial (IA), os desafios que enfrentam e como priorizam soluções de IA de acordo com seus casos de uso.

O principal fator para o crescimento do mercado de infraestrutura de IA é a percepção das empresas de que a IA pode impulsionar sua eficiência operacional e produtividade da força de trabalho.  Cada vez mais, companhias buscam soluções de IA para extrair insights valiosos de seus bancos de dados internos e planejam implantar IA generativa para aumentar sua vantagem competitiva, melhorar a produtividade do trabalhador do conhecimento e impactar seus resultados financeiros.

A pesquisa examinou não apenas o treinamento de modelos, mas também o uso e inferência desses modelos para entender as maiores dificuldades enfrentadas pelas empresas ao mover a IA/ML para a produção.

“Nossa pesquisa mostra que, embora a maioria das organizações esteja planejando expandir sua infraestrutura de IA, elas não podem se dar ao luxo de implantar a Generative AI em grande escala sem priorizar os casos de uso corretos”, disse Noam Harel, diretor de marketing e gerente geral da ClearML para a América do Norte. “Também exploramos os inúmeros desafios que as organizações enfrentam em suas cargas de trabalho atuais de IA e como seus planos ambiciosos para o futuro sinalizam a necessidade de maneiras altamente performáticas e econômicas de otimizar a utilização de GPU (ou encontrar alternativas para GPUs) e aproveitar plataformas de IA/ML completas e integradas para conduzir a orquestração e agendamento de computação eficaz e self-service com máxima utilização.”

“Existem muitas afirmações sobre como as empresas estão atendendo às suas necessidades de recursos de infraestrutura de IA em rápida evolução e incorporando a Generative AI em seus produtos. Este relatório fornece dados concretos para responder a essas perguntas”, disse June Paik, CEO da FuriosaAI. “Em particular, ele mostra como as empresas estão procurando ativamente por novas opções econômicas para computação de inferência. Estamos entusiasmados em ver que nosso produto de segunda geração, a ser lançado no final deste ano, aborda diretamente uma das principais preocupações citadas no relatório.”

Principais insights do relatório

• 96% dos entrevistados planejam expandir sua infraestrutura de computação de IA, buscando flexibilidade e velocidade. O principal problema para computação em nuvem é o desperdício/custos ociosos.

• 95% dos executivos consideram importante ter e usar tecnologia Open Source. Dentre os entrevistados, 96% estão focados em customizar modelos Open Source. PyTorch é a estrutura escolhida.

• 74% das empresas estão insatisfeitas com suas ferramentas atuais de agendamento e orquestração de tarefas e enfrentam limitações na alocação de recursos de computação sob demanda e na produtividade da equipe. Desses entrevistados, 74% veem valor em ter funcionalidades de computação e agendamento como parte de uma plataforma de IA/ML única e unificada (em vez de montar um conjunto de soluções pontuais autônomas). Apenas 19% dos entrevistados possuem uma ferramenta de agendamento que permite visualizar e gerenciar tarefas dentro de filas e otimizar efetivamente a utilização da GPU. É importante notar que 93% dos executivos pesquisados acreditam que a produtividade da equipe de IA aumentaria substancialmente se os recursos de computação pudessem ser self-service.

• A otimização da utilização da GPU e o particionamento da GPU são grandes preocupações, com a maioria das GPUs subutilizadas durante os períodos de pico. 40% dos entrevistados, independentemente do tamanho da empresa, planejam usar tecnologia de orquestração e agendamento para maximizar os investimentos atuais em computação de sua infraestrutura de IA existente. Apenas 42% das empresas têm a capacidade de gerenciar recursos de particionamento dinâmico de MiG/GPU para otimizar a utilização da GPU.

• O custo é o principal fator de compra para computação de inferência. Para lidar com a escassez de GPU, 52% dos entrevistados relataram estar procurando ativamente por alternativas econômicas às GPUs para inferência em 2024, em comparação com 27% para treinamento. Desses entrevistados, 20% estavam interessados em alternativas econômicas às GPUs, mas não conheciam as alternativas existentes.

Leia também: