O que é computação de alto desempenho (HPC)?

A HPC resolve alguns dos problemas de computação mais complexos da atualidade em tempo real. Os sistemas de HPC normalmente são executados a velocidades mais de um milhão de vezes mais rápidas do que os sistemas de desktop, laptop ou servidor de commodities mais rápidos.

Os supercomputadores, computadores específicos que incorporam milhões de processadores ou núcleos de processador, têm sido vitais na computação de alto desempenho há décadas. Ao contrário dos mainframes, os supercomputadores são muito mais rápidos e podem executar bilhões de operações de ponto flutuante em um segundo.

Os supercomputadores ainda estão conosco; o supercomputador mais rápido é a Frontier sediada nos EUA, com uma velocidade de processamento de 1,206 exaflops, ou quintilhões de operações de ponto flutuante, por segundo (flops).¹ Mas hoje, mais organizações estão executando serviços de HPC em clusters de servidores de computador de alta velocidade, hospedados no local ou na nuvem.

As cargas de trabalho de HPC revelam novos insights que aprimoram o conhecimento humano e criam vantagens competitivas significativas. Por exemplo, a HPC sequencia o DNA e automatiza a negociação de ações. Ela executa algoritmos e simulações de inteligência artificial (IA), como as que permitem automóveis autônomos, que analisam terabytes de fluxo de dados de sensores de IoT, radar e sistemas de GPS em tempo real para tomar decisões em frações de segundo.

Um sistema de computação padrão resolve problemas principalmente usando computação serial. Ele divide a carga de trabalho em uma sequência de tarefas e, em seguida, executa as tarefas uma após a outra no mesmo processador.

A computação paralela executa várias tarefas simultaneamente em vários servidores ou processadores de computador. A HPC usa computação maciçamente paralela, que usa dezenas de milhares a milhões de processadores ou núcleos de processador.

Um HPC Cluster compreende múltiplos servidores de computador de alta velocidade em rede com um agendador centralizado que gerencia a carga de trabalho de computação paralela. Os computadores, chamados de nós, usam CPUs multi-core de alto desempenho ou, mais provavelmente hoje em dia, GPUs, que são adequadas para cálculos matemáticos rigorosos, modelos de aprendizado de máquina (ML) e tarefas com uso intenso de gráficos. Um único HPC Cluster pode incluir 100 mil nós ou mais.

O Linux é o sistema operacional mais usado para executar HPC Clusters. Outros sistemas operacionais incluem Windows, Ubuntu e Unix.

Todos os outros recursos de computação em um cluster de HPC (como rede, memória, armazenamento e sistemas de arquivos) são de alta velocidade e alto rendimento. Eles também são componentes de baixalatência, que podem acompanhar o ritmo dos nós e otimizar a capacidade de computação e o desempenho do cluster.

As cargas de trabalho de HPC dependem de uma message passing interface (MPI), uma biblioteca padrão e um protocolo para programação de computadores paralela, que permite aos usuários se comunicarem entre nós em um cluster ou em uma rede.

A computação de alto desempenho (HPC) depende de bits e processadores convencionais usados na computação clássica. Em contraste, computação quântica usa tecnologia baseada em mecânica quântica para resolver problemas complexos. Os algoritmos quânticos criam espaços computacionais multidimensionais, que são uma maneira muito mais eficiente de resolver problemas complexos (como a simulação do comportamento das moléculas) que os computadores clássicos ou supercomputadores não conseguem resolver com a rapidez suficiente. Não se espera que a computação quântica substitua a HPC tão cedo. Em vez disso, as duas tecnologias podem ser combinadas para alcançar a eficiência e desempenho ideal.

Recentemente, há uma década, o alto custo da HPC, que envolvia possuir ou alugar um supercomputador ou construir e hospedar um HPC Cluster em um data center local, colocou a HPC fora do alcance da maioria das organizações.

Hoje, a HPC na nuvem (às vezes chamada de HPC como serviço ou HPCaaS) oferece uma maneira significativamente mais rápida, escalável e acessível para as empresas aproveitarem a HPC. A HPCaaS normalmente inclui acesso a HPC Clusters e infraestrutura hospedados no data center de um provedor de serviços de nuvem, além de recursos de rede (como IA e análise de dados) e conhecimento especializado em HPC.

Atualmente, três tendências convergentes impulsionam a HPC na nuvem:

Organizações de todos os setores dependem cada vez mais dos insights em tempo real e da vantagem competitiva do uso de aplicações de HPC para resolver problemas complexos. Por exemplo, a detecção de fraudes de cartão de crédito (algo de que todos nós dependemos e que a maioria de nós já experimentou em um momento ou outro) depende cada vez mais da HPC para identificar fraudes mais rapidamente e reduzir falsos positivos irritantes, mesmo quando a atividade de fraude se expande e as táticas dos fraudadores mudam constantemente.

Desde o lançamento de Tecnologias como o ChatGPT, as organizações abraçaram rapidamente a promessa da IA generativa (IA gen) para acelerar a inovação e promover o crescimento. Esse desenvolvimento estimulou uma demanda ainda maior por computação de alto desempenho. A HPC fornece alto poder computacional e escalabilidade para oferecer suporte a cargas de trabalho orientadas por IA em grande escala. Em um relatório da Intersect 360 Research, o mercado mundial total de infraestrutura de computação escalável para HPC e IA foi de R$ 85,7 bilhões em 2023, um aumento de 62,4% em relação ao ano anterior, devido, predominantemente, a uma quase triplicação dos gastos por empresas de hiperescala em sua infraestrutura de IA.²

O remote direct memory access (RDMA) permite que um computador em rede acesse a memória de outro computador em rede sem envolver o sistema operacional do computador ou interromper o processamento de qualquer um dos computadores. Isso ajuda a minimizar a latência e maximizar a taxa de transferência, reduzindo os gargalos de largura de banda de memória. As malhas emergentes de RDMA de alto desempenho (incluindo InfiniBand, arquitetura de interface virtual e RDMA sobre Ethernet convergente) possibilitam a HPC baseada em nuvem.

Atualmente, todos os principais provedores de serviços de nuvem pública, incluindo Amazon Web Services (AWS), Microsoft Azure, Google Cloud e IBM Cloud, oferecem serviços de HPC. E embora algumas organizações continuem a executar cargas de trabalho de HPC altamente regulamentadas ou sensíveis no local, muitas estão adotando ou migrando para serviços de HPC em nuvem privada oferecidos por fornecedores de hardware e soluções.

A HPC na nuvem permite que as organizações apliquem muitos ativos de computação para resolver problemas complexos e oferece os seguintes benefícios:

• Configure e implemente cargas de trabalho intensas com rapidez.

• Reduza o tempo de obtenção de resultados por meio de escalabilidade com capacidade sob demanda.

• Ganhe eficiência de custos aproveitando a tecnologia para atender às suas necessidades e pagar apenas pela potência de computação que você usa.

• Use as ferramentas e o suporte de gerenciamento de provedores de nuvem para arquitetar suas cargas de trabalho específicas da HPC.

As aplicações de HPC tornaram-se sinônimos de IA, especialmente as aplicações de aprendizado de máquina (ML) e aplicativos de deep learning. Atualmente, a maioria dos sistemas de HPC é projetada com essas cargas de trabalho em mente.

De análise de dados à pesquisa de ponta, a HPC está impulsionando a inovação contínua em casos de uso nos seguintes setores: