ANÁLISE: O que a IA generativa significa para os data centers

Resumo:

• A IA generativa requer mais recursos de computação e energia do que a IA tradicional. Isso significa que os data centers precisam ser projetados para suportar cargas de trabalho de IA generativa, com mais energia, resfriamento e conectividade.
• A IA generativa pode ser implantada em data centers locais ou em nuvem. A escolha da localização depende de fatores como requisitos de latência, custos de energia e conformidade.
• Os data centers precisam ser construídos e operados de forma a atender às necessidades específicas das cargas de trabalho de IA generativa. Isso inclui recursos de energia, resfriamento, conectividade e segurança.
• Os data centers precisam ser sustentáveis, pois as cargas de trabalho de IA generativa consomem muita energia. Isso pode ser feito usando fontes de energia renováveis e tecnologias de eficiência energética.
• Os data centers precisam garantir a privacidade e segurança dos dados de IA generativa. Isso inclui medidas de segurança física e cibernética.

O uso crescente da IA generativa cria novas demandas para a infraestrutura de IT, exigindo que as organizações estejam preparadas. O Global Tech Trends Survey (GTTS) de 2023, estudo encomendado pela Equinix, aponta que  42% dos líderes de TI globais não confiam que suas infraestruturas tenham capacidade de acomodar o crescimento da IA. 

A IA generativa já influenciou a arquitetura dos clusters de IA, exigindo uma rede neural maior – o que significa mais hardware – bem como melhor malha computacional e conjuntos de dados maiores. Esses fatores levam ao alto consumo de energia e à necessidade de resfriamento mais eficiente e melhor infraestrutura de rede. 

Mas, primeiro, vamos falar sobre o que torna a IA generativa diferente da IA tradicional:

• Enquanto a IA tradicional classifica os dados e identifica padrões para fazer previsões, a IA generativa vai além para criar novos conteúdos com base nos padrões vistos.
• Normalmente, os modelos generativos de IA são representados por redes neurais muito maiores que contêm bilhões ou até trilhões de parâmetros.
• Os tempos de resposta de consulta de IA generativa podem ser mais lentos (na ordem de vários segundos) em comparação com os de consultas de IA tradicionais (abaixo de um segundo) devido ao processamento extra e a conjuntos de dados maiores.
• A IA generativa envolve uma infraestrutura de treinamento de IA muito maior e maior consumo de energia, exigindo, portanto, racks de servidores mais densos e técnicas avançadas de resfriamento.
• Em muitos casos de uso, os especialistas no assunto podem interagir diretamente com sistemas de IA generativos em vez de passar por cientistas de dados. Os cientistas de dados ainda são necessários para a personalização do modelo fundamental.
• Devido aos altos requisitos de computação e infraestrutura para criar modelos de IA do zero, as empresas estão começando a compartilhar modelos de IA por meio de modelos como serviço e código aberto.

Assim, fica claro que a IA generativa impacta na forma como projetamos a arquitetura do data center — desde onde você coloca sua infraestrutura, como o espaço é construído, opções de conectividade e muito mais. Vamos dar uma olhada em cinco destes fatores.

Localização do data center

As cargas de trabalho de desenvolvimento de IA generativa consomem muita energia, por isso é melhor criá-las em locais que possam fornecer energia de baixo custo. Normalmente, elas não são sensíveis à latência, portanto, não precisam estar em áreas altamente povoadas. Além disso, você vai querer hospedá-las em locais onde pode tirar proveito das técnicas de resfriamento de “ar externo livre”.  

Faz sentido colocar cargas de trabalho de produção de IA generativa em pontos de presença próximos de onde os dados estão sendo gerados. Assim, pode-se querer implantar clusters de inferência de IA em várias regiões para reduzir o backhaul de dados para um local central. Dependendo do número de usuários acessando simultaneamente o modelo de IA generativa, talvez seja necessário implantar um grande cluster de inferência de IA que exija muita energia. Assim, é importante implantar esses sistemas de produção em data centers que possam suportar altos requisitos de energia. 

Para satisfazer os regulamentos de residência de dados e conformidade, muitas organizações precisam implantar seus sistemas de produção de IA em vários países. Você pode simplificar e agilizar seus processos de implantação de data center trabalhando com um fornecedor global de data center com presença em todo o mundo. 

Construção e operações do data center

As cargas de trabalho de IA de produção exigem data centers de alta disponibilidade, assim como outras cargas de trabalho de TI. No entanto, os requisitos do data center para cargas de trabalho de desenvolvimento de IA são exclusivos das seguintes maneiras:

• Requisitos de energia: a criação de modelos de IA generativa requer clusters de GPU grandes e que consomem muita energia. Assim, os data centers precisam fornecer circuitos de energia que possam transportar mais energia para os racks.
• Resfriamento líquido: Como os racks de GPU de IA generativa podem consumir mais de 30KW de energia por rack, o resfriamento a ar tradicional não é eficiente. Precisamos construir data centers que tenham suporte para técnicas aprimoradas de resfriamento, como resfriamento líquido.
• Disponibilidade: como as cargas de trabalho de treinamento de IA geralmente usam pontos de verificação periódicos, elas podem tolerar o tempo de inatividade do cluster ou do data center. Ou seja, pode-se sempre ir ao posto de controle anterior e reiniciar o trabalho de treinamento a partir desse ponto. Assim, há oportunidade de considerar diferentes modelos de redundância, o que ajuda a reduzir o custo geral do data center.

Conectividade do data center

Para criar modelos de IA generativa, você precisa de acesso de alta velocidade a muitas fontes de dados externas. Ao usar um modelo para produção, precisa de conectividade de alta largura de banda para trazer dados de entrada multimodais (por exemplo, vídeo, fotos) e conectividade de baixa latência para provedores de dados externos (por exemplo, clima ao vivo, mercado de ações, tráfego, etc.). Dessa forma, é importante hospedar cargas de trabalho de IA generativa em um data center que forneça conectividade segura e de alta velocidade a vários provedores de rede para trazer tráfego da borda (5G, Wi-Fi, baixa potência, MPLS). 

Você também precisa de conectividade segura e de alta velocidade com fontes de dados espalhadas por nuvens, data brokers e outras empresas. Muitas nuvens cobram pela saída de dados por meio de uma conexão privada a pontos de custo muito mais baixos do que os dados de saída pela internet pública. Os data centers devem ser um provedor de conectividade privada aprovado para reduzir os custos de saída de dados em nuvem. 

Sustentabilidade do data center

Como as cargas de trabalho de IA generativa consomem muita energia, os provedores de data centers precisam utilizar fontes de energia sustentáveis. Cada vez mais, haverá pressão sobre os provedores de soluções de IA de governos e órgãos de fiscalização da indústria para hospedar suas soluções em data centers ecológicos com um número de baixo consumo de energia (PUE). Os provedores de data centers precisarão aproveitar a tecnologia de IA para otimizar e personalizar a operação em relação ao número de ventiladores, chillers e assim por diante. Por fim, deverão publicar relatórios periódicos de sustentabilidade para ajudar os clientes a otimizar o consumo de energia por meio de sua infraestrutura de TI.

Privacidade e segurança do data center

Muitas organizações querem manter o controle total sobre seus dados por motivos de privacidade e concorrência. Além da segurança em nível de software e dados, a segurança física de sua infraestrutura também é muito importante. Os data centers precisam fornecer gaiolas privadas que podem ser acessadas apenas pelo cliente, com monitoramento de vídeo 24 horas por dia, 7 dias por semana. Em muitos casos, os clientes querem saber se o provedor de data center atende às regulamentações governamentais de segurança de infraestrutura por motivos de conformidade.

Doron Hendel, engenheiro elétrico e desenvolvedor de negócios em IA e Kaladhar Voruganti, cientista da computação e tecnologista de negócios sênior na Equinix

Leia Também: