애플리케이션과 인프라가 더욱 복잡하고 동적으로 성장함에 따라 DevOps 팀은 어떻게 클라우드, 온프레미스 및 하이브리드 환경에서 중요한 로그 수집, 모니터링 및 분석을 자동화하고 간소화할 수 있을까요?

Synergy는 LogDNA 로깅 플랫폼을 IBM 글로벌 에코시스템에 통합하여 두 회사를 파트너이자 컨설팅 클라이언트로 묶어 혁신적인 관리형 Kubernetes 서비스를 제공할 수 있도록 지원했습니다.

2013년, 세 번째 스타트업 회사에서 일하던 Christopher Ngyuen과 Lee Liu는 현대적인 클라우드 네이티브 개발 스택의 까다로운 요구 사항을 완벽하게 처리할 수 있는 로그 관리 도구가 없다는 사실을 깨달았습니다. 기존의 로그 분석 방법론은 동적 클라우드 환경에서 발생하는 데이터 스프롤 수준을 관리할 만큼 대응력이나 확장성이 충분하지 않았습니다.

이들은 자신들이 좌절감을 느끼는 것만큼 다른 DevOps 팀도 데이터 활동을 쫓고 있다는 사실을 알고 있었습니다. 그래서 이들은 인기 있는 Elasticsearch 도구를 기반으로 구축하여 사용할 수 있는 로깅 플랫폼을 만들기 시작했습니다.

로깅은 항상 코드 오류를 감시하는 개발자에게 중요한 정보를 제공했습니다. 단일 서버와 관련된 경우 로깅은 종종 느리더라도 비교적 간단했습니다. 하지만 가상화가 데이터 센터로 옮겨가자 프로세스는 훨씬 더 복잡해졌습니다.

중앙 집중식 로깅은 로그 파일을 통합하는 방식으로 발전했지만, 여전히 개발자, IT 또는 인프라 팀이 직접 로깅을 구성해야 했기 때문에 시간과 리소스를 많이 사용하고 비용이 많이 들었습니다. 더 큰 문제는 다운타임 제로에 대한 요구가 커지면서 개발자가 문제와 변경 사항에 대한 실시간 가시성을 확보해야 하는 속도가 빨라졌다는 점입니다. 오늘날 애플리케이션을 구성하는 컨테이너는 현대화를 위한 새로운 기반으로 확산되고 있습니다.

"애플리케이션이 커질 때마다 처리해야 할 로그가 더 많아집니다. 사용자 환경에 새로운 애플리케이션이 도입되거나 새로운 제품을 출시할 때마다 더 많은 로그가 생성됩니다."라고 LogDNA의 비즈니스 개발 담당 부사장인 Norman Hsieh는 말합니다. "그리고 실제로 누군가는 이를 관리하고 확장하는 데 더 많은 시간을 할애해야 합니다."

Hacker News에서 통합 로깅 버전을 테스트한 후 Hsieh는 "우리는 로깅에 대한 진정한 수요와 새로운 관점의 필요성을 즉시 확인했습니다."라고 말합니다.

그는 계속해서 이렇게 말합니다. “어느 시점이 되면 말 그대로 어떠한 상자도 만질 필요가 없게 됩니다. 하지만 애플리케이션은 수천 대의 시스템에서 계속 실행되는 거죠." 이제 실행 중인 컨테이너 수에 따라 10 또는 100을 곱해 보세요. 이 아키텍처 프레임워크에 엄청난 양의 데이터 스프롤이 있는 겁니다. 모두 자동화되어 있지만 실제로 무슨 일이 일어나고 있는지는 알 수 없습니다. 해당 정보를 얻는 유일한 방법은 로그를 저장하는 것입니다. 지금 필요한 것은 DevOps 인텔리전스를 제공하고, 프레임워크를 파악하고, 모든 데이터를 자동으로 정리할 수 있을 만큼 현대화된 도구입니다."

그리고 공동 창립자들은 벽에 쓰여진 'Kubernetes'라는 단어를 보았습니다. Hsieh는 “우리는 이것이 우리의 아키텍처를 뒷받침할 수 있는 놀라운 기술이라고 생각했습니다.”라고 덧붙입니다. 많은 개발자들은 컨테이너화된 워크로드 관리를 위해 경량 오픈 소스 플랫폼을 빠르게 채택했습니다.

LogDNA 팀은 클라우드 환경에서 Kubernetes의 고급 오케스트레이션 기능을 포착하고 이 분야의 리더를 찾았습니다.

IBM Cloud 및 Cognitive Software의 최고 기술 책임자(CTO)인 Jason McGee와 그의 팀은 LogDNA가 수행하는 작업에 대해 알고 있었으며, 이들은 클라우드, Kubernetes Service 및 DevOps로 초점을 전환하고 있었습니다. 두 회사 모두 오픈 소스 커뮤니티에서도 작업을 하고 있었고 이를 통해 개발자 공간에서의 진행 속도를 가속화했습니다.

"IBM이 우리에게 기회를 주고 '이 사람들은 현재 보유한 기술로 흥미로운 일을 하고 있다'라고 말한 것에 대해 큰 공을 돌리고 싶습니다."라고 Hsieh는 말합니다. "우리는 Jason의 팀이 하고 있는 일과 우리가 지향하는 방향 사이에서 동일한 시너지 효과를 볼 수 있었습니다. IBM Cloud 측에서 Kubernetes를 선도하는 것에 대해 이야기했을 때, 우리는 이 분야가 바로 우리가 진출하고 싶은 분야라는 것을 알았습니다."

DNA 가닥이 서로 얽혀 있는 것처럼, LogDNA와 IBM은 긴밀한 관계를 형성하여 통합 파트너십으로 발전했고, 이는 곧 LogDNA의 고객 기회로 이어졌습니다.

“우리는 비즈니스 개발 측면뿐만 아니라 IBM과 매우 긴밀하게 협력할 수 있는 기회를 얻었습니다. 또한 우리는 IBM 내에서 서비스를 구축한 내부 팀과도 협력하고 있습니다."라고 Hsieh는 말합니다. "우리는 종종 베이 지역 커뮤니티의 사람들로부터 어떻게 그렇게 할 수 있는지에 대한 질문을 받습니다. 그 이유 중 많은 부분이 IBM과 함께 성장하고 확장하고자 하는 우리의 의지 때문이라고 생각합니다."

LogDNA에 가치를 더하고 파트너십을 입증했던 기회들 중 하나는 IBM의 새로운 베어 메탈 제품이었습니다.

"로깅이 우리 비즈니스의 주 업무이기는 하지만, 자세히 들여다보면 우리는 스토리지 회사이자 빅데이터 회사이기도 합니다."라고 Hsieh는 설명합니다. "처음에 IBM Cloud Kubernetes 서비스를 검토했을 때, 현재 제공되는 서비스가 우리의 요구 사항을 충족하지 못할까 봐 걱정했습니다. 우리는 몇몇 저명한 IBM 엔지니어들을 만났는데, 그들은 '베어 메탈 제품을 살펴보고 필요한 요구 사항을 충족할 수 있는 더 유연한 제품이 있는지 알아보는 것이 어떻겠느냐'고 제안했습니다. 저희는 그런 게 있는지도 몰랐었죠."

IBM은 즉시 출시할 수 있도록 빠르게 제품을 준비했고 이러한 깜짝 진행은 LogDNA의 판도를 바꿔놓았습니다.

"우리는 클라우드 네이티브 아키텍처를 채택하고 Kubernetes를 사용하여 다중 채널 SaaS 제품을 제공했습니다."라고 Hsieh는 말합니다. "이를 통해 모든 유형의 관리형 Kubernetes 환경에 배포할 수 있는 제품을 제공할 수 있었고, 베어 메탈 옵션을 통해 스토리지에서 빠르게 읽고 쓰는 데 필요한 IOPS(초당 입출력 작업 수)를 네트워크 기반 스토리지보다 저렴한 가격으로 얻을 수 있었습니다."

일부 사양 변경에 대한 권장 사항과 함께 LogDNA는 IBM에 압력을 가하여 작업을 더 빠르게 완료했습니다. IBM의 도움은 이뿐만이 아니었습니다.

"정말 큰 도움이 되었습니다. 초기에는 우리 둘 다 우리가 얼마나 빨리 성장하고 있는지를 제대로 알 수 없었기 때문에 얼마나 많은 서버가 필요한지도 확신할 수 없었습니다. 하지만 새로운 서버를 확보하고 새로운 IBM Cloud Kubernetes Service를 가동하는 프로세스는 점점 더 좋아지고 있습니다.”

수백만 명의 고객이 24시간 내내 앱을 사용하며, 방대한 인프라에서 엄청난 양의 로그 파일이 생성되는 혁신적인 차량 공유 애플리케이션 회사를 상상해 보세요. 모든 차량 요청, 모든 승차 및 고객 참여 수준은 어제의 로깅 요구 사항을 뛰어 넘습니다.

“우리는 기존 업체가 제공하는 것에 비해 이러한 수준의 확장성을 제공하는 더 큰 시장이 있다고 생각합니다. IBM과의 파트너십 덕분에 이제 이 문제를 해결할 수 있게 되었습니다."라고 Hsieh는 말합니다.

IBM Cloud 서부 지역 비즈니스 파트너 및 채널 영업 및 IBM Global Markets – Cloud Sales의 Sue Hahn은 "LogDNA의 장점은 고객이 여정을 시작할 때 시작할 수 있고, 앱이 실행되는 위치, 초기 단계, 현대화 또는 네이티브 애플리케이션 영역에 관계없이 일관된 형태로 LogDNA를 유지할 수 있다는 것입니다."라고 말합니다. "퍼블릭, 온프레미스, 하이브리드, 모든 클라우드 등 다양한 환경에서 원활하게 전체 스펙트럼에 걸쳐 로깅하고 가시성을 제공할 수 있습니다."

우리의 목표는 개발자의 데이터를 최적화하는 로그 관리 도구를 제공하는 것입니다.

Hsieh가 다음과 같이 말합니다. "즉, 자동 구문 분석과 같은 기능에 집중하고 있다는 뜻입니다. 우리는 LogDNA에 들어오는 모든 데이터가 어떤 종류의 로그인지 정확하게 인식할 수 있기 때문에 이를 자동으로 처리합니다. 우리는 단순하고 간편한 사용을 위해 서비스를 번들로 제공하기 때문에 사용자는 로그에 대해 걱정할 필요가 없습니다."

LogDNA는 어느 데이터 센터로 이전하든 전 세계에서 일관되게 운영할 수 있는 능력은 IBM이 제공하는 글로벌 풋프린트 덕분이라고 말합니다. IBM이 선호하는 로깅 서비스인 LogDNA의 제품은 모든 IBM 서비스 지역의 IBM Cloud Service Catalog에서 사용할 수 있습니다.

Hsieh는 “우리는 댈러스, 프랑크푸르트 그리고 EU 관리 사업부와 함께 도쿄와 런던까지 사업을 확장했습니다.”라고 말합니다. "시드니에서도 곧 오픈할 예정입니다. IBM이 제공하는 일관성, 즉 정확하고 동일한 배포가 없었다면 이 모든 것이 불가능했을 것입니다."

Hahn은 다음과 같이 덧붙입니다. “서비스의 일관성 덕분에 매우 짧은 시간 내에 고객을 지원할 수 있다는 것은 정말 대단한 일입니다. LogDNA가 배포되는 모든 환경이 동일하기 때문에 우리는 운영 프로세스를 변경할 필요가 없습니다. 고객은 우리 서비스를 선택하고 주문할 수 있으며, 로깅을 원하는지 확인하면 LogDNA가 직접 주문에 반영됩니다.”

또한 IBM은 내부 시스템을 위한 로그 분석 도구로 LogDNA를 사용하고 있습니다.

파트너십의 대부분은 LogDNA의 IBM Cloud Kubernetes Service 사용을 중심으로 이루어지지만, 이 제품은 Cloud Object Storage에 직접 통합을 제공하기 때문에 회사는 테스트를 위해 IBM Cloud Object Storage도 활용하고 있습니다.향후에는 머신 러닝 기능이나 멀티클라우드 관리자를 보강하기 위해 IBM Watson 기술 등 다른 IBM 서비스를 적용할 계획이라고 Hsieh는 말합니다.

"현재 우리 제품은 DevOps 영역에 집중되어 있습니다. 우리의 강점은 개발 스택에 대한 더 나은 인사이트와 더 나은 관측 가능성을 제공하는 것입니다. 우리는 개발자들이 기본적으로 로그에 대해 전혀 생각하지 않도록 하는 도구를 만들고 있습니다. 우리는 무엇이든 관리하거나 구성해야 하는 불편함 없이 매우 강력하면서도 편리한 로그 관리 도구를 제공하고 있습니다.”라고 Hsieh는 말합니다. "로깅 솔루션을 구축하는 데는 리소스와 시간이라는 숨겨진 비용이 있습니다. 결국 가장 중요한 것은 우리는 고객이 집중해야 할 사항에 집중할 수 있도록 지원하고 있다는 것입니다.”

캘리포니아주 마운틴뷰에 본사를 둔 LogDNA (ibm.com 외부 링크)는 IBM, Lime 및 Instacart와 같은 회사에 로그 관리 및 기타 솔루션을 제공하는 소프트웨어 개발 및 서비스 제공업체입니다. 이 회사는 2015년에 설립되었으며 약 70명의 직원을 고용하고 있습니다.