À medida que as aplicações e infraestruturas se tornam mais complexas e dinâmicas, como as equipes de DevOps poderiam automatizar e simplificar a coleta, o monitoramento e a análise de registros críticos em ambientes híbridos, locais e na nuvem?

A Synergy ajudou a integrar a plataforma de registro LogDNA no ecossistema global da IBM, unindo as duas empresas como parceiras e clientes de consultoria para fornecer serviços Kubernetes gerenciados e inovadores.

Em 2013, enquanto trabalhavam na sua terceira startup, Christopher Ngyuen e Lee Liu tiveram uma epifania: nenhuma ferramenta de gerenciamento de log era totalmente capaz de lidar com as necessidades intensas de uma stack de desenvolvimento moderna e nativa da nuvem. A metodologia tradicional de análise de logs simplesmente não era ágil ou escalável o suficiente para gerenciar o nível de expansão de dados que ocorre em ambientes dinâmicos de nuvem.

Se isso os frustrava, eles sabiam que outras equipes de DevOps também estavam atrás das atividades de dados. Então, eles começaram a criar uma plataforma de registro que pudessem usar, com base na popular ferramenta Elasticsearch.

O registro sempre forneceu informações críticas para os desenvolvedores que estavam em busca de erros de código. Quando envolvia um único servidor, o registro era relativamente simples, embora muitas vezes lento. Mas quando a virtualização migrou para o data center, o processo ficou consideravelmente mais complicado.

O registro centralizado evoluiu para agrupar arquivos de log, mas ainda cabia aos desenvolvedores, equipes de TI ou de infraestrutura organizar o log por si mesmos – um uso de recursos caro e demorado. Pior ainda, a crescente demanda por downtime zero acelerou a necessidade dos desenvolvedores por uma visão em tempo real dos problemas e das mudanças. Hoje, os contêineres que compõem uma aplicação se proliferam como uma nova base para a modernização.

"Sempre que sua aplicação cresce, você tem mais registros para lidar. Sempre que você tem novas aplicações no seu ambiente ou lança novos produtos, você tem mais registros", afirma Norman Hsieh, vice-presidente de desenvolvimento de negócios da LogDNA. "E, efetivamente, alguém precisa passar mais tempo gerenciando e escalando isso."

Depois de testar sua versão de registro integrado no Hacker News, Hsieh comentou: "Percebemos de imediato uma demanda e necessidade real de uma nova perspectiva sobre os registros."

Ele continua: "Em determinado momento, você nem precisa mais lidar com caixas, mas pode ter milhares de máquinas executando suas aplicações." Agora multiplique isso por 10 ou 100 em termos do número de contêineres que você está executando. Você vê uma enorme quantidade de dados nesses frameworks arquitetônicos, e é tudo automatizado, mas você não sabe exatamente o que está acontecendo. A única maneira de obter essas informações é salvando um registro. E o que você precisa agora é de uma ferramenta moderna o suficiente para fornecer inteligência de DevOps, conhecer os frameworks e organizar todos esses dados automaticamente para você."

E então os cofundadores viram o que estava escrito na parede: Kubernetes. "Achamos que seria uma tecnologia incrível para apoiar nossa própria arquitetura", acrescenta Hsieh. Uma onda de desenvolvedores estava adotando rapidamente a plataforma leve e de código aberto para gerenciar cargas de trabalho em contêineres.

A equipe da LogDNA aproveitou os recursos avançados de orquestração do Kubernetes em ambientes de nuvem e procurou um líder nessa área.

O trabalho que a LogDNA estava fazendo não passou despercebido pela IBM® Cloud e pelo diretor de tecnologia de software cognitivo (CTO) Jason McGee e sua equipe, que estavam mudando o foco para a nuvem, serviços Kubernetes e DevOps. Ambas as empresas também estavam trabalhando na comunidade de código aberto, aproveitando o impulso no espaço dos desenvolvedores.

"Dou muito crédito à IBM por nos dar uma chance e dizer: "Esses caras estão fazendo algo interessante com a tecnologia que têm hoje", diz Hsieh. "Vimos a mesma sinergia entre o que a equipe de Jason estava fazendo e para onde estávamos indo. Quando eles falaram sobre liderar com o Kubernetes na IBM Cloud, soubemos imediatamente que era o caminho que queríamos seguir."

Assim como as fitas de DNA se entrelaçam, a LogDNA e a IBM desenvolveram uma relação sólida que evoluiu para uma parceria integrada e, felizmente, em uma oportunidade de cliente para a LogDNA.

“Tivemos a oportunidade de trabalhar em estreita colaboração com a IBM e não apenas no lado do desenvolvimento de negócios. Também estamos trabalhando lado a lado com as equipes internas que desenvolveram serviços dentro da IBM", diz Hsieh. "Muitas vezes, as pessoas da comunidade da Bay Area nos perguntam como conseguimos fazer isso. Acho que muito disso se deve à nossa disposição de dizer: 'Vamos crescer e expandir com a IBM'".

Uma das oportunidades que agregou valor à LogDNA e demonstrou parceria foi uma nova oferta bare metal da IBM.

"Você sabe que nosso negócio é o registro, mas quando você olha mais de perto, também somos uma empresa de armazenamento e big data", explica Hsieh. "Então, quando analisamos inicialmente oo IBM® Cloud Kubernetes Service, ficamos preocupados com o fato de as ofertas atuais não atenderem às nossas demandas. Nós nos reunimos com alguns dos engenheiros renomados da IBM e eles disseram: 'Por que você não dá uma olhada na oferta bare metal e vê se há algo mais flexível para atender aos requisitos que você precisa?'. Nem sabíamos que isso existia."

A IBM acelerou uma oferta para lançamento imediato, mas essa surpresa foi um divisor de águas para a LogDNA.

"Pegamos nossa arquitetura nativa da nuvem e fornecemos um produto SaaS multicanal usando o Kubernetes", diz Hsieh. "Isso nos permitiu oferecer um produto que pode ser implementado em todos os diferentes tipos de ambientes Kubernetes gerenciados, mas a opção bare metal nos permitiu obter as IOPS [operações de entrada/saída por segundo] que precisávamos para ler e gravar rapidamente fora do armazenamento, e a um preço mais barato do que o armazenamento baseado em rede."

Com recomendações para algumas alterações de especificação, a LogDNA pressionou a IBM para fazê-lo mais rápido. Não foi a única vez que a IBM se envolveu.

"Eles têm sido extremamente úteis. No início, estávamos entendendo o quão rápido estávamos crescendo e, portanto, nem tínhamos certeza de quantos servidores precisávamos. Mas o processo de obter novos servidores e obter o novo IBM Cloud Kubernetes Service tem ficado cada vez melhor."

Imagine que você é uma empresa revolucionária de aplicativos de compartilhamento de corridas, com milhões de clientes usando seu aplicativo 24 horas por dia e gerando uma quantidade enorme de arquivos de registro em uma infraestrutura gigantesca. Cada solicitação de carro, cada corrida realizada, e o nível de engajamento do cliente superam as demandas de registro de ontem.

"Achamos que há um mercado maior para esse nível de escalabilidade em comparação com o que as empresas estão oferecendo hoje. Graças à nossa parceria com a IBM, podemos resolver isso agora", diz Hsieh.

"O incrível do LogDNA é que os clientes podem começar a usá-lo desde o início de sua jornada e continuar usando de forma consistente, independentemente de onde os aplicativos estão sendo executados, ou se eles estão nos estágios iniciais, de modernização ou na área de aplicativos nativos", diz Sue Hahn, parceira de negócios e vendas de canais da região oeste da IBM Cloud e mercados globais da IBM – vendas em nuvem. "Ele pode registrar e fornecer visibilidade em todo esse espectro – público, no local, híbrido, qualquer nuvem, sem dificuldades em vários ambientes."

O objetivo é fornecer uma ferramenta de gerenciamento de log que otimize os dados de um desenvolvedor.

Hsieh diz: "Isso significa que nos concentramos fortemente em aspectos como análise automática. Qualquer dado que entra no LogDNA, nós automaticamente cuidamos dele para você, já que podemos reconhecer exatamente que tipo de logs eles são. Agrupamos nossos serviços para simplificar e facilitar o uso, para que você não precise se preocupar com os registros."

A LogDNA atribui a capacidade de operar consistentemente em todo o mundo, independentemente do data center para o qual enviam informações, à presença global que a IBM oferece. Como serviço de registro preferencial da IBM, o produto da empresa estará disponível no catálogo do IBM® Cloud Service em todas as regiões em que a IBM opera.

"Expandimos para Dallas, Frankfurt, com operações gerenciadas pela UE, Tóquio e Londres", diz Hsieh. "Atenderemos Sydney em breve. Nada disso seria possível sem a consistência que a IBM traz – exatamente a mesma implementação."

Hahn acrescenta: "Isso é incrível, poder oferecer suporte aos clientes em um prazo muito curto graças à consistência do serviço. Onde quer que o LogDNA seja implementado, é o mesmo ambiente, portanto não precisamos alterar nenhum processo operacional. Os clientes têm a opção de escolher e solicitar nossos serviços, indicando que desejam a funcionalidade de registro, o que automaticamente integra o LogDNA ao pedido."

Além disso, a IBM está usando o LogDNA como uma ferramenta de análise de log para seus sistemas internos.

A maior parte da parceria gira em torno do uso do IBM Cloud Kubernetes Service pela LogDNA, mas a empresa também faz uso do IBM® Cloud Object Storage para testes, já que o produto oferece integração diretamente com o Cloud Object Storage. No futuro, diz Hsieh, a expectativa é aplicar outros serviços da IBM, como a tecnologia IBM Watson, para aumentar seus recursos de aprendizado de máquina ou multicloud manager.

"No momento, nosso produto está fortemente focado na área de DevOps. Nosso forte é fornecer melhores insights, melhor observabilidade em stack de desenvolvimento. Estamos criando ferramentas que permitem que os desenvolvedores, basicamente, nem pensem em registros. Estamos fornecendo a conveniência de uma ferramenta de gerenciamento de logs muito robusta sem o inconveniente de ter que gerenciar ou configurar qualquer coisa", diz Hsieh. "Há custos ocultos no desenvolvimento de soluções de registro, em recursos e tempo. No final das contas, estamos permitindo que nossos clientes se concentrem nas coisas em que precisam se concentrar."

Com sede em Mountain View, Califórnia, a LogDNA (link externo a ibm.com) é uma desenvolvedora de software e provedora de serviços que oferece gerenciamento de log e outras soluções para empresas como IBM, Lime e Instacart. A empresa foi fundada em 2015 e emprega aproximadamente 70 pessoas.