Wie könnten DevOps-Teams die Erfassung, Überwachung und Analyse kritischer Protokolle in Cloud-, On-Premise- und Hybridumgebungen automatisieren und optimieren, wenn Anwendungen und Infrastrukturen komplexer und dynamischer werden?

Synergy hat dazu beigetragen, die Protokollierungsplattform von LogDNA in das globale IBM-Ökosystem einzubinden und die beiden Unternehmen sowohl als Partner als auch als Berater von Kunden bei der Bereitstellung innovativer, verwalteter Kubernetes-Services zusammenzubringen.

Im Jahr 2013, während der Arbeit an ihrem dritten Startup-Unternehmen, hatten Christopher Ngyuen und Lee Liu eine Erleuchtung: Kein Tool für das Log-Management war in der Lage, die umfangreichen Anforderungen eines modernen, cloudnativen Entwicklungsstacks zu erfüllen. Herkömmliche Log-Analysemethoden waren einfach nicht reaktionsschnell oder skalierbar genug, um die Datenflut zu bewältigen, die in dynamischen Cloud-Umgebungen entsteht.

Wenn es sie frustrierte, wussten sie, dass auch andere DevOps-Teams der Datenaktivität hinterherjagten. Also begannen sie mit der Entwicklung einer Protokollierungsplattform, die auf dem beliebten Tool Elasticsearch basierte.

Die Protokollierung hat schon immer wichtige Informationen für Entwickler geliefert, die nach Codefehlern Ausschau halten. Wenn es sich um einen einzelnen Server handelte, war die Protokollierung relativ einfach, wenn auch oft langsam. Aber als die Virtualisierung ins Rechenzentrum einzog, wurde der Prozess deutlich unübersichtlicher.

Die zentralisierte Protokollierung wurde entwickelt, um die Protokolldateien zusammenzufassen, aber es lag immer noch an den Entwicklern, IT- oder Infrastrukturteams, die Protokollierung selbst zu organisieren – ein zeitaufwändiger und teurer Einsatz von Ressourcen. Schlimmer noch: Der wachsende Ruf nach Null-Ausfallzeiten erhöhte die Geschwindigkeit, mit der die Entwickler Echtzeit-Einblicke in Probleme und Änderungen benötigten. Heute sind Container, aus denen eine Anwendung besteht, als neue Grundlage für die Modernisierung auf dem Vormarsch.

„Jedes Mal, wenn Ihre Anwendung wächst, haben Sie mehr Protokolle zu bewältigen. Jedes Mal, wenn neue Anwendungen in Ihre Umgebung kommen oder Sie neue Produkte auf den Markt bringen, haben Sie mehr Protokolle“, sagt Norman Hsieh, VP of Business Development bei LogDNA. „Und tatsächlich ist es notwendig, dass jemand mehr Zeit damit verbringt, diese Maßnahmen zu verwalten und zu skalieren.“

Nachdem sie ihre integrierte Protokollierungsversion auf Hacker News getestet hatten, sagt Hsieh: „Wir sahen sofort eine echte Nachfrage und einen Bedarf für eine neue Perspektive der Protokollierung.“

Er fährt fort: „Irgendwann müssen Sie buchstäblich keine Rechner mehr anfassen, obwohl Sie möglicherweise Tausende von Rechnern haben, auf denen Ihre Anwendungen laufen. Jetzt multiplizieren Sie das mit 10 oder 100 in Bezug auf die Anzahl der von Ihnen betriebenen Container. Sie sehen eine riesige Datenmenge in diesen Architektur-Frameworks, und alles ist automatisiert, aber Sie wissen nicht wirklich, was vor sich geht. Die einzige Möglichkeit, diese Informationen zu erhalten, ist durch das Speichern eines Protokolls. Und was Sie jetzt benötigen, ist ein Tool, das modern genug ist, um DevOps-Intelligenz zu liefern, die Frameworks zu kennen und all diese Daten automatisch für Sie zu organisieren.“

Und dann erkannten die Mitbegründer, was zu tun war: Kubernetes. „Wir waren der Meinung, dass diese Technologie hervorragend geeignet ist, um unsere eigene Architektur zu unterstützen“, fügt Hsieh hinzu. Die leichtgewichtige Open-Source-Plattform für das Management von Container-Workloads wurde schnell von einer Vielzahl von Entwicklern angenommen.

Das LogDNA-Team nutzte die fortschrittlichen Orchestrierungsfunktionen von Kubernetes in Cloud-Umgebungen und suchte nach einem führenden Anbieter in diesem Bereich.

Die Arbeit von LogDNA blieb nicht unbemerkt von Jason McGee, Chief Technology Officer (CTO) von IBM Cloud and Cognitive Software, und seinem Team, das seinerseits den Schwerpunkt auf Cloud, Kubernetes-Dienste und DevOps verlagerte. Beide Unternehmen waren auch in der Open-Source-Community tätig und nutzten die Dynamik in der Entwicklerszene.

„Ich rechne es IBM hoch an, dass sie uns eine Chance gaben und sagten: 'Diese Jungs machen etwas Interessantes mit der Technologie, die sie heute haben',“ sagt Hsieh. „Wir sahen die gleiche Synergie zwischen dem, was Jasons Team tat, und dem, was wir vorhatten. Als sie davon sprachen, dass sie mit Kubernetes in der IBM Cloud führend sind, wussten wir, dass dies genau der Bereich ist, in den wir vorstoßen wollten.“

Wie ineinander verschlungene DNA-Stränge bildeten LogDNA und IBM eine enge Beziehung, die sich sowohl in eine integrierte Partnerschaft als auch – glücklicherweise – in eine Kundenmöglichkeit für LogDNA verwandelte.

„Wir hatten die Möglichkeit, sehr eng mit IBM zusammenzuarbeiten, und zwar nicht nur im Bereich der geschäftlichen Entwicklung. Wir arbeiten auch Hand in Hand mit den internen Teams, die Dienstleistungen innerhalb von IBM aufgebaut haben“, sagt Hsieh. „Wir werden oft von Leuten aus der Bay Area gefragt, wie wir das anstellen. Ich denke, das liegt zum großen Teil an unserer Bereitschaft zu sagen: 'Hey, wir wollen mit IBM wachsen und expandieren.'“

Eine der Chancen, die einen Mehrwert für LogDNA darstellen und die Partnerschaft demonstrieren, war ein neues Bare-Metal-Angebot von IBM.

„Sie wissen, dass unser Geschäft die Protokollierung ist, aber wenn Sie tiefer graben, sind wir auch ein Speicher- und ein Big-Data-Unternehmen“, erklärt Hsieh. „Als wir uns den IBM Cloud Kubernetes Service ansahen, hatten wir die Befürchtung, dass die aktuellen Angebote unseren Anforderungen nicht genügen würden. Wir trafen uns mit ein paar renommierten IBM-Ingenieuren und sie sagten: 'Warum schauen Sie sich nicht das Bare-Metal-Angebot an und sehen, ob es etwas Flexibleres gibt, mit dem Sie die Anforderungen erfüllen können, die Sie sich wünschen.' Wir wussten nicht einmal, dass es so etwas gibt.“

IBM hatte sein Angebot im Eiltempo auf den Markt gebracht, aber diese Überraschung war ein Wendepunkt für LogDNA.

„Wir hatten unsere cloudnative Architektur genommen und ein Multichannel-SaaS-Produkt mit Kubernetes bereitgestellt“, sagt Hsieh. „Dadurch konnten wir ein Produkt anbieten, das in allen verschiedenen Arten von verwalteten Kubernetes-Umgebungen eingesetzt werden kann. Die Bare-Metal-Option ermöglichte es uns jedoch, die IOPS [Input/Output-Operationen pro Sekunde] zu erhalten, die wir für schnelles Lesen und Schreiben aus dem Speicher benötigten, und das zu einem günstigeren Preis als bei einem netzwerkbasierten Speicher.“

Mit Empfehlungen für einige Spezifikationsänderungen drängte LogDNA IBM dazu, das Ganze noch schneller voranzutreiben. Das war nicht das einzige Mal, dass sich IBM ins Zeug gelegt hat.

„Sie waren äußerst hilfreich. Schon früh merkten wir beide, wie schnell wir wuchsen, und waren uns daher nicht einmal sicher, wie viele Server wir benötigen würden. Aber der Prozess, neue Server zu beschaffen und den neuen IBM Cloud Kubernetes Service in Betrieb zu nehmen, wurde einfach immer besser.“

Stellen Sie sich vor, Sie sind ein bahnbrechendes Unternehmen für Mitfahrgelegenheiten mit Millionen von Kunden, die Ihre App rund um die Uhr nutzen – und erzeugen dabei eine gewaltige Menge an Protokolldateien in einer riesigen Infrastruktur. Jede Autoanforderung, jede getätigte Fahrt und der Grad der Kundenbindung übersteigt die Protokollierungsanforderungen von gestern.

„Wir glauben, dass es einen größeren Markt für dieses Maß an Skalierbarkeit gibt als das, was die etablierten Betreiber heute anbieten. Dank unserer Partnerschaft mit IBM können wir das jetzt angehen“, sagt Hsieh.

„Das Schöne an LogDNA ist, dass Kunden damit beginnen können, sobald ihre eigene Journey beginnt, und dann in konsistenter Form dabei bleiben können, unabhängig davon, wo Apps laufen, oder ob sie sich in frühen Stadien, in der Modernisierung oder im Bereich der nativen Anwendungen befinden“, sagt Sue Hahn, IBM Cloud Western Region Business Partner und Channel Sales und IBM Global Markets – Cloud Sales. „Es kann dieses gesamte Spektrum protokollieren und transparent machen – öffentlich, vor Ort, hybrid, in einer beliebigen Cloud, nahtlos über verschiedene Umgebungen hinweg.“

Das Ziel ist es, ein Tool zum Log-Management bereitzustellen, das die Daten eines Entwicklers optimiert.

Hsieh sagt: „Das bedeutet, dass wir uns stark auf Dinge wie automatisches Parsen konzentrieren. Alle Daten, die bei LogDNA eingehen, werden von uns automatisch für Sie aufbereitet, da wir genau erkennen können, um welche Art von Protokollen es sich handelt. Wir bündeln unsere Services aus Gründen der Einfachheit und Benutzerfreundlichkeit, sodass Sie sich keine Gedanken über Protokolle machen müssen.“

LogDNA führt die Fähigkeit, konsistent auf der ganzen Welt zu arbeiten, unabhängig davon, in welches Rechenzentrum sie drängen, auf die globale Präsenz zurück, die IBM bietet. Als IBMs bevorzugter Protokollierungsservice wird das Produkt des Unternehmens im IBM Cloud Service Catalog in allen IBM Service-Regionen verfügbar sein.

„Wir haben nach Dallas, nach Frankfurt (mit EU-Managed Operations), nach Tokio und London expandiert“, sagt Hsieh. „Bald werden wir auch in Sydney vertreten sein. Nichts davon wäre möglich ohne die Konsistenz, die IBM mitbringt – die exakte, gleiche Bereitstellung.“

Hahn fügt hinzu: „Das ist enorm wichtig, denn durch die Konsistenz des Angebots sind wir in der Lage, unsere Kunden in kürzester Zeit zu unterstützen. Wo auch immer LogDNA eingesetzt wird, es ist die gleiche Umgebung, sodass wir keine betrieblichen Prozesse ändern müssen. Die Kunden können unsere Dienste auswählen und bestellen, angeben, dass sie eine Protokollierung wünschen, und dann wird LogDNA direkt in den Auftrag einbezogen.“

Darüber hinaus nutzt IBM LogDNA als Protokollanalysetool für seine internen Systeme.

Der Großteil der Partnerschaft konzentriert sich auf die Nutzung des IBM Cloud Kubernetes Service durch LogDNA, aber das Unternehmen arbeitet auch mit IBM Cloud Object Storage für Tests zusammen, da das Produkt direkt in Cloud Object Storage integriert werden kann. Für die Zukunft, so Hsieh, wird erwartet, dass andere IBM Services wie die IBM Watson® Technologie zur Erweiterung der maschinellen Lernfähigkeiten oder ein Multicloud Manager eingesetzt werden.

„Derzeit konzentriert sich unser Produkt stark auf den DevOps-Bereich. Unsere Stärke liegt darin, bessere Einblicke und eine bessere Beobachtbarkeit in Entwicklungs-Stacks zu bieten. Wir entwickeln Tools, die es Entwicklern ermöglichen, sich im Wesentlichen überhaupt keine Gedanken über Protokolle machen zu müssen. Wir bieten den Komfort eines sehr robusten Log-Management-Tools, ohne die Mühe, irgendetwas verwalten oder konfigurieren zu müssen“, sagt Hsieh. „Der Aufbau von Protokollierungslösungen verursacht versteckte Kosten in Form von Ressourcen und Zeit. Am Ende des Tages können sich unsere Kunden auf die Dinge konzentrieren, die für sie wirklich wichtig sind.“

LogDNA mit Sitz in Mountain View, Kalifornien (Link befindet sich außerhalb von ibm.com) ist ein Softwareentwickler und Dienstleister, der Log-Management und andere Lösungen für Unternehmen wie IBM, Lime und Instacart anbietet. Das Unternehmen wurde 2015 gegründet und beschäftigt rund 70 Mitarbeiter.