빅데이터 처리를 위한 고성능 컴퓨팅을 위한 4단계

기업이 빅 데이터를 처리하기 위해 고성능 컴퓨팅을 채택해야 하는 경우 온프레미스에 운영을 배포하는 것이 가장 효과적일 수 있습니다. 고성능 컴퓨팅과 Hadoop의 차이점을 포함하여 기업이 알아야 할 사항은 다음과 같습니다.

빅데이터 분야에서 모든 기업에 고성능 컴퓨팅(HPC)이 필요한 것은 아니지만, 빅데이터를 활용하는 거의 모든 기업이 하둡(Hadoop) 방식의 분석 컴퓨팅을 채택하고 있습니다.

Hadoop 분석 작업은 고성능 컴퓨팅(HPC) 장치에서 실행할 수 있지만 그 반대의 경우는 불가능하므로 HPC와 Hadoop의 차이점을 구별하기 어렵습니다. HPC 및 Hadoop 분석은 모두 병렬 데이터 처리를 사용하지만 Hadoop 및 분석 환경에서는 데이터가 하드웨어에 저장되고 해당 하드웨어의 여러 노드에 분산됩니다. 고성능 컴퓨팅(HPC)에서는 데이터 파일 크기가 훨씬 크고 데이터가 중앙에 저장됩니다. 고성능 컴퓨팅(HPC)은 파일 크기가 크고 InfiniBand와 같은 더 비싼 네트워크 통신이 필요하기 때문에 높은 처리량과 낮은 대기 시간이 필요합니다.

기업 CIO의 목적은 분명합니다. 기업이 HPC를 피하고 분석 목적으로만 Hadoop을 사용할 수 있다면 그렇게 할 수 있습니다. 이 접근 방식은 비용이 저렴하고 직원이 운영하기 쉬우며 다른 회사(예: 타사 공급업체)가 실행할 수 있는 클라우드에서도 실행할 수 있습니다.

안타깝게도 처리를 위해 고성능 컴퓨팅(HPC)이 필요한 생명 과학, 기상학, 제약, 광업, 의료, 정부, 학계의 모든 기업 및 기관에서는 Hadoop을 채택하는 것이 불가능합니다. 파일 크기가 크고 처리 요구 사항이 매우 엄격하기 때문에 데이터 센터나 클라우드 컴퓨팅을 사용하는 것은 좋은 솔루션이 아닙니다.

간단히 말하면 HPC(고성능 컴퓨팅)는 데이터 센터 내에서 실행되는 빅 데이터 플랫폼의 완벽한 예입니다. 이 때문에 기업에서는 막대한 투자를 한 하드웨어가 필요한 작업을 수행하는지 확인하는 것이 어려운 일이 됩니다.

빅 데이터 Hadoop 및 HPC 플랫폼 제공업체인 PSCC Labs의 최고 전략 책임자인 Alex Lesser는 다음과 같이 말했습니다. “이는 빅 데이터를 처리하기 위해 HPC를 사용해야 하는 많은 기업이 직면한 과제입니다. IT 인프라와 이미 익숙한 상용 하드웨어를 사용하므로 이러한 사고 방식을 채택하고 자체적으로 Hadoop 분석 컴퓨팅 환경을 구축하는 것은 자연스러운 일이지만 고성능 컴퓨팅(HPC)의 경우 응답은 종종 다음과 같습니다. 공급업체가 처리합니다."

고성능 컴퓨팅(HPC) 도입을 고려하는 회사는 다음 네 가지 단계를 수행해야 합니다.

1. 고성능 컴퓨팅(HPC)에 대한 고위 경영진의 지원 보장

최고 경영진 및 이사회 기업이 반드시 컴퓨팅 분야의 고성능 전문가가 될 필요는 없지만, 그들의 이해와 지원 없이는 결코 가능하지 않습니다. 이러한 관리자는 모두 고성능 컴퓨팅(HPC)에 대해 충분히 이해하고 있어야 하며 기업을 위해 이루어질 수 있는 대규모 하드웨어, 소프트웨어 및 교육 투자를 명확하게 지원할 수 있어야 합니다. 즉, 두 가지 측면에 대해 교육을 받아야 합니다. (1) HPC가 무엇이며 왜 일반 분석과 다르며 특수 하드웨어 및 소프트웨어가 필요한지. (2) 기업이 비즈니스 목표를 달성하기 위해 레거시 분석 대신 HPC를 사용해야 하는 이유. 이러한 교육 노력은 모두 CIO(최고 정보 책임자) 또는 CDO(최고 개발 책임자)의 책임이어야 합니다.

Lesser는 "HPC 도입에 가장 적극적으로 나서는 기업은 자신이 진짜라고 믿는 기술 기업이며, 아마존의 소매 사업으로 시작해 지금은 엄청난 수익원이 된 아마존 AWS 클라우드 서비스를 언급하고 있는 것"이라고 말했다. ."

2. 사용자 정의가 가능한 사전 구성된 하드웨어 플랫폼 고려

PSSC Labs와 같은 회사는 사전 패키지 및 사전 구성된 HPC 하드웨어를 제공합니다. Lesser는 "우리는 HPC 모범 사례를 기반으로 한 기본 패키지를 보유하고 있으며 고객과 협력하여 컴퓨팅 요구 사항에 따라 해당 기본 패키지를 사용자 정의합니다"라고 말하면서 거의 모든 데이터 센터에는 일부 사용자 정의가 필요하다고 지적했습니다.

3. 수익 이해

모든 IT 투자와 마찬가지로 HPC는 비용 효율적이어야 하며 비즈니스는 경영진과 이사회의 마음 속에 명확하게 표현된 투자 수익(ROI)을 달성할 수 있어야 합니다. "좋은 예는 항공기 설계입니다"라고 Lesser는 말했습니다. “고성능 컴퓨팅(HPC)은 막대한 투자이지만, 기업이 HPC를 사용하여 설계를 시뮬레이션하고 99.9999999%의 정확도를 얻을 수 있으며 더 이상 물리적인 풍동을 임대할 필요가 없다는 사실을 알게 되면 투자금을 빨리 회수할 수 있습니다.”

4. 자체 IT 직원 교육

HPC 컴퓨팅은 기업의 IT 직원에게 쉬운 전환이 아니지만 기업이 온프레미스 작업을 실행하려는 경우 팀이 자급자족할 수 있도록 배치해야 합니다.

처음에는 기업이 시작하려면 외부 컨설턴트를 고용해야 할 수도 있습니다. 그러나 컨설팅 업무의 목표는 항상 두 가지입니다. 즉, (1) HPC 애플리케이션을 계속 실행하고 (2) 직원이 운영을 맡을 수 있도록 지식을 직원에게 전달해야 합니다. 기업은 이에 만족해서는 안 된다.

HPC 팀의 핵심에는 고성능 컴퓨팅에 필요한 매우 복잡한 알고리즘을 개발하여 기업의 질문에 답할 수 있는 데이터 과학자가 필요합니다. 또한 강력한 C+ 또는 Fortran 기술과 병렬 처리 환경에서 강력한 시스템에서 작업할 수 있는 능력을 갖춘 프로그래머나 네트워크 통신 전문가가 필요합니다.

"결론은 기업이 2주에 한두 번 작업을 실행하는 경우 클라우드로 이동하여 HPC를 호스팅해야 한다는 것입니다." Lesser는 "그러나 기업이 HPC 리소스를 사용하고 다음과 같은 작업을 실행하는 경우에는 제약 회사나 생명 공학 회사, 회사에서 하루에 여러 번 이를 실행할 수 있다면 클라우드에서 실행하는 것은 돈 낭비가 될 것이므로 자체 운영을 자체적으로 운영하는 것을 고려해야 합니다.”