A fábrica de grandes memórias
Tecnologias como Apache Spark, SAP HANA e bancos de dados NoSQL compartilham um recurso comum – o uso de armazenamentos de dados na memória (in memory). Mover conjuntos de dados da mídia de armazenamento tradicional para a memória pode reduzir drasticamente a latência do sistema e aumentar o desempenho do aplicativo. Esses conjuntos de dados estão crescendo e, no entanto, levando a requisitos que podem ser descritos como big memory (grande memória, em português).
Infelizmente, a memória de acesso aleatório dinâmica (DRAM) pode ser literalmente centenas de vezes mais cara que o armazenamento da unidade de disco rígido e até 10 vezes mais cara que do flash, tornando o uso de DRAM para conjuntos de dados muito grandes proibitivamente caros. Além disso, as soluções baseadas em DRAM ainda exigem armazenamento persistente e, quando uma falha de cache ocorre no disco, o desempenho desses aplicativos de última geração pode despencar.
Para lidar com esses desafios, alguns arquitetos de TI se voltaram para o armazenamento em flash. O flash pode servir como uma extensão persistente e de custo mais baixo que a DRAM, fornecendo melhor desempenho em comparação com o armazenamento baseado em disco rígido. Por essas razões, entre outras, grandes soluções de memória construídas com armazenamento flash ganharam popularidade.
A questão agora é: como podemos construir soluções de big memory de latência ultra baixa que aproveitam a confiabilidade e o desempenho oferecidos pelo flash?
Acontece que uma chave essencial é a interface entre os servidores e o armazenamento flash. O tráfego de dados entre a CPU e o armazenamento atravessa muitos componentes, os quais adicionam alguma latência, incluindo a latência do processador para o backplane, o sistema operacional (SO), o sistema de arquivos, o protocolo de interface, a rede e as latências do sistema de armazenamento. Várias tecnologias estão em jogo em cada um desses componentes, com diferentes opções afetando a latência total, o custo e a eficiência da solução geral. Para reduzir drasticamente a latência da interface de armazenamento, uma tecnologia que recebe muita atenção hoje em dia é o protocolo Non-Volatile Memory express over Fabrics (NVMe-oF).
O NVMe-oF permite que o hardware e o software usufruam melhor da latência de microssegundos que o armazenamento all flash pode oferecer. Ele reduz a sobrecarga de E/S entre as CPUs e o armazenamento, resultando em melhorias de desempenho em comparação às interfaces anteriores, como as SCSI, que foram originalmente desenvolvidas para uso com discos rígidos muito mais lentos.
O NVMe já está sendo utilizado para SSDs baseados em PCIe internos. Impulsionada pela necessidade de capacidades de memória muito maiores e maior escalabilidade para executar trabalhos analíticos ainda maiores usando o Spark, o SAP HANA ou soluções cognitivas como o IBM PowerAI Vision, o setor de TI desenvolveu o NVMe over Fabrics (NVMe-oF) para estender NVMe em redes de armazenamento utilizando Fibre Channel, Ethernet ou InfiniBand.
O NVMe-oF permite que os arquitetos de TI conectem recursos de armazenamento externos, como matrizes all flash com centenas de terabytes e até petabytes de capacidade para mecanismos analíticos em uma rede de armazenamento de latência ultra baixa. Essencialmente, graças ao NVMe-oF, o tamanho dos aplicativos in memory pode ser ilimitado, sem comprometer a confiabilidade e os serviços de dados fornecidos por protocolos de rede maduros e sistemas de armazenamento de nível corporativo.
Nos dias de hoje, big memory é big business. Uma pesquisa de mercado sugere que, até 2020, as vendas de NoSQL chegarão a US$ 3,4 bilhões anuais, impulsionadas por uma taxa de crescimento anual de 21%. Escalar a infraestrutura de web usando bancos de dados NoSQL se mostrou um movimento bem-sucedido para empresas como Facebook, Digg e Twitter, entre muitas outras. [5] A SAP anunciou recentemente que a taxa de adoção de S/4HANA dobrou de ano para ano em 2017 para mais de 5.400 clientes, com 1.300 inscritos apenas no quarto trimestre, incluindo a Nike e a Ameco Beijing. Claramente, o mercado para grandes armazenamentos de dados de alto desempenho e análise de big data é substancial.
A big memory e o big business que ela possibilita impulsionam a adoção de soluções altamente escalonáveis e que impedem a latência, como o NVMe-oF. As tecnologias originalmente projetadas para oferecer suporte a discos de velocidade de milissegundos estão dando lugar ao armazenamento em velocidade de microssegundos, que suporta análises em tempo real de enormes conjuntos de dados.
Com o NVMe-oF, você pode ter o seu bolo, tão grande quanto você quiser, e comê-lo agora. Fique ligado no que está na loja da IBM com NVMe e NVMe-oF.