고성능 컴퓨팅(HPC)이란 무엇인가요?

HPC는 현재 가장 복잡한 컴퓨팅 문제를 실시간으로 해결합니다. HPC 시스템은 보통 가장 빠른 상용 데스크톱, 노트북 또는 서버 시스템보다 100만 배 이상 빠른 속도로 실행됩니다.

수백만 개의 프로세서 또는 프로세서 코어를 구현하는 특수 제작된 컴퓨터인 슈퍼컴퓨터는 수십 년 동안 고성능 컴퓨팅에서 필수적인 역할을 해왔습니다. 메인프레임과 달리 슈퍼컴퓨터는 훨씬 빠르며 1초에 수십억 개의 부동소수점 연산을 실행할 수 있습니다.

가장 빠른 슈퍼컴퓨터는 미국에 위치한 프론티어로, 처리 속도가 1.206 엑사플롭스(초당 5경 부동 소수점 연산)에 달합니다.¹ 그러나 오늘날에는 온프레미스 또는 클라우드에서 호스팅되는 고속 컴퓨터 서버 클러스터에서 HPC 서비스를 실행하는 조직이 점점 더 많아지고 있습니다.

HPC 워크로드는 인간의 지식을 뛰어넘는 새로운 인사이트를 발견하여 상당한 경쟁 우위를 창출합니다. 예를 들어, HPC는 DNA 시퀀싱을 수행하고 주식 거래를 자동화합니다. 자율 주행 자동차를 가능하게 하는 것과 같은 인공 지능(AI) 알고리즘과 시뮬레이션을 실행하여 IoT 센서, 레이더 및 GPS 시스템에서 데이터 스트리밍하는 테라바이트 규모의 데이터를 실시간으로 분석하여 순식간에 결정을 내립니다.

표준 컴퓨팅 시스템은 주로 직렬 컴퓨팅을 사용하여 문제를 해결하는데, 이는 워크로드를 일련의 작업으로 나눈 다음 동일한 프로세서에서 차례로 작업을 실행하는 방식입니다.

병렬 컴퓨팅은 여러 컴퓨터 서버 또는 프로세서에서 동시에 여러 작업을 실행합니다. HPC는 수만 개에서 수백만 개의 프로세서나 프로세서 코어를 사용하는 대규모 병렬 컴퓨팅을 사용합니다.

HPC 클러스터는 병렬 컴퓨팅 작업 부하를 관리하는 중앙 집중식 스케줄러와 함께 네트워크로 연결된 여러 고속 컴퓨터 서버로 구성됩니다. 노드라고 하는 컴퓨터는 고성능 멀티코어 CPU 또는 오늘날에는 엄격한 수학 계산, 머신 러닝(ML) 모델 및 그래픽 집약적인 작업에 적합한 GPU를 사용합니다. HPC 클러스터 하나에 100,000개 이상의 노드가 포함될 수 있습니다.

Linux는 HPC 클러스터를 실행하는 데 가장 널리 사용되는 운영 체제입니다. 다른 운영 체제로는 Windows, Ubuntu 및 Unix가 있습니다.

네트워킹, 메모리, 스토리지 및 파일 시스템과 같은 HPC 클러스터의 다른 모든 컴퓨팅 리소스는 고속 및 높은 처리량을 제공합니다. 또한 노드와 보조를 맞추고 클러스터의 컴퓨팅 성능과 성능을 최적화할 수 있는 저지연 구성 요소이기도 합니다.

HPC 워크로드는 사용자가 클러스터의 노드 간 또는 네트워크를 통해 통신할 수 있도록 하는 병렬 컴퓨터 프로그래밍을 위한 표준 라이브러리 및 프로토콜인 MPI(메시지 전달 인터페이스)에 의존합니다.

고성능 컴퓨팅(HPC)은 기존 컴퓨팅에 사용되는 기존 비트와 프로세서에 의존합니다. 이와 대조적으로 양자 컴퓨팅은 복잡한 문제를 해결하기 위해 특수 기술 기반의 양자 역학을 사용합니다. 양자 알고리즘은 기존 컴퓨터나 슈퍼컴퓨터로는 충분히 빠르게 해결할 수 없는 분자 작동 방식 시뮬레이션과 같은 복잡한 문제를 훨씬 더 효율적으로 해결하는 다차원 계산 공간을 생성합니다. 양자 컴퓨팅이 조만간 HPC를 대체할 것으로 예상되지는 않습니다. 오히려 두 기술을 결합하여 효율성과 최적의 성능을 달성할 수 있습니다.

불과 10년 전만 해도 슈퍼컴퓨터를 소유 또는 임대하거나 온프레미스 데이터 센터에 HPC 클러스터를 구축 및 호스팅하는 데 너무 큰 비용이 필요했던 탓에 대부분의 조직에서는 사용할 엄두를 내지 못했습니다.

오늘날 클라우드의 HPC(서비스형 HPC 또는 HPCaaS라고도 함)는 기업이 훨씬 더 빠르고 확장가능하며 경제적인 방법으로 HPC를 활용할 방법을 제공합니다. HPCaaS에는 일반적으로 클라우드 서비스 제공업체의 데이터 센터에서 호스팅되는 HPC 클러스터 및 인프라에 대한 액세스와 네트워크 기능(예: AI 및 데이터 분석) 및 HPC 전문 지식이 포함됩니다.

현져 세 가지 추세가 클라우드에서 HPC를 주도하고 있습니다.

모든 산업 분야의 조직이 복잡한 문제를 해결하기 위해 HPC 애플리케이션을 사용하여 얻을 수 있는 실시간 인사이트와 경쟁 우위를 점점 더 의존하고 있습니다. 예를 들어, 신용카드 사기 탐지는 누구나 한 번쯤은 체험해 본 적이 있는 분야로, 사기 활동이 확대되고 사기범들의 수법이 끊임없이 변화하는 중에도 사기를 더 빠르게 식별하고 성가신 오탐지를 줄이기 위해 HPC를 점점 더 많이 활용하고 있습니다.

ChatGPT와 같은 기술이 출시된 이후, 조직들은 혁신을 가속화하고 성장을 촉진하기 위해 생성형 AI의 가능성을 빠르게 수용하고 있습니다. 이러한 발전은 고성능 컴퓨팅에 대한 더 큰 수요를 불러일으켰습니다. HPC는 대규모 AI 기반 워크로드를 지원할 수 있는 높은 컴퓨팅 성능과 확장성을 제공합니다. Intersect 360 연구에 따르면, HPC 및 AI를 위한 확장 가능한 컴퓨팅 인프라의 전 세계 시장 규모는 2023년에 85.7억 달러로 전년 대비 62.4% 증가했습니다. 이는 주로 하이퍼스케일 기업의 AI 인프라 지출이 거의 3배 증가한 데 따른 것입니다.²

원격 직접 메모리 액세스(RDMA)를 사용하면 네트워크에 연결된 한 컴퓨터가 다른 컴퓨터의 운영 체제나 컴퓨터의 처리를 중단하지 않고도 네트워크에 연결된 다른 컴퓨터의 메모리에 액세스할 수 있습니다. 이를 통해 대기 시간을 최소화하고 처리량을 최대화하여 메모리 대역폭 병목 현상을 줄일 수 있습니다. InfiniBand, 가상 인터페이스 아키텍처, 컨버지드 이더넷을 통한 RDMA를 포함한 새로운 고성능 RDMA 패브릭은 클라우드 기반 HPC를 가능하게 합니다.

오늘날 Amazon Web Services(AWS), Microsoft Azure, Google Cloud 및 IBM® Cloud를 포함한 모든 주요 퍼블릭 클라우드 서비스 제공업체는 HPC 서비스를 제공합니다. 일부 조직에서는 규제가 심하거나 민감한 HPC 워크로드를 온프레미스에서 계속 실행하고 있지만, 많은 조직에서는 하드웨어 및 솔루션 제공업체에서 제공하는 프라이빗 클라우드 HPC 서비스를 채택하거나 마이그레이션하고 있습니다.

클라우드의 HPC를 통해 조직은 복잡한 문제를 해결하기 위해 많은 컴퓨팅 자산을 적용할 수 있으며 다음과 같은 이점을 제공합니다.

• 집중적인 워크로드를 빠르게 구성하고 배포합니다.

• 온디맨드 용량 확장을 통해 결과를 도출하는 시간을 단축합니다.

• 요구 사항을 충족하는 기술을 활용하여 비용 효율성을 확보하고 사용한 컴퓨팅 성능에 대해서만 비용을 지불합니다.

• 클라우드 공급자 관리 도구 및 지원을 사용하여 특정 HPC 워크로드를 설계합니다.

HPC 애플리케이션은 AI, 특히 머신 러닝(ML) 및 딥 러닝 앱의 동의어가 되었습니다. 오늘날 대부분의 HPC 시스템은 이러한 워크로드를 염두에 두고 설계되었습니다.

데이터 분석부터 최첨단 연구까지, HPC는 다음 산업 분야의 사용 사례에서 지속적인 혁신을 주도하고 있습니다.