ビッグデータ処理のためのハイパフォーマンスコンピューティングのための 4 つのステップ

企業がビッグデータを処理するためにハイパフォーマンス コンピューティングを採用する必要がある場合、オンプレミスで運用を展開するのが最適である可能性があります。ハイ パフォーマンス コンピューティングと Hadoop の違いなど、企業が知っておくべきことを紹介します。

ビッグ データの分野では、すべての企業がハイ パフォーマンス コンピューティング (HPC) を必要とするわけではありませんが、ビッグ データを使用するほぼすべての企業が Hadoop スタイルの分析コンピューティングを採用しています。

Hadoop 分析ジョブはハイ パフォーマンス コンピューティング (HPC) デバイス上で実行できますが、その逆はできないため、HPC と Hadoop の違いを区別するのは困難です。 HPC 分析と Hadoop 分析はどちらも並列データ処理を使用しますが、Hadoop 環境と分析環境では、データはハードウェアに保存され、そのハードウェアの複数のノードに分散されます。ハイ パフォーマンス コンピューティング (HPC) では、データ ファイルのサイズがはるかに大きくなり、データは一元的に保存されます。ハイ パフォーマンス コンピューティング (HPC) では、ファイル サイズが大きく、InfiniBand などのより高価なネットワーク通信が必要なため、高スループットと低遅延が必要です。

企業 CIO の目的は明確です。企業が HPC を回避し、分析のみに Hadoop を使用できるのであれば、そうすることができます。このアプローチはコストが低く、従業員にとって操作が簡単で、他の企業 (サードパーティ ベンダーなど) が実行できるクラウドでも実行できます。

残念ながら、処理にハイ パフォーマンス コンピューティング (HPC) を必要とするライフ サイエンス、気象学、製薬、鉱業、医療、政府、学術界のすべての企業や機関にとって、Hadoop を採用することは不可能です。ファイルのサイズが大きく、処理要件が非常に厳しいため、データセンターやクラウド コンピューティングの使用は良い解決策ではありません。

つまり、ハイ パフォーマンス コンピューティング (HPC) は、データセンター内で実行されるビッグ データ プラットフォームの好例です。このため、企業にとっては、多額の投資を行ったハードウェアが必要な機能を確実に果たすことが困難になります。

ビッグデータ Hadoop および HPC プラットフォームのプロバイダーである PSCC Labs の最高戦略責任者、Alex Lesser 氏は次のように述べています。 IT インフラストラクチャとその企業 すでに使い慣れた汎用ハードウェアを使用するため、このアプローチを採用して自分で Hadoop 分析コンピューティング環境を構築するのは自然なことですが、ハイ パフォーマンス コンピューティング (HPC) の場合は、多くの場合、ベンダーに処理を任せるという対応になります。

ハイ パフォーマンス コンピューティング (HPC) の導入を検討している企業は、次の 4 つの手順を実行する必要があります:

1. ハイ パフォーマンス コンピューティング (HPC) に対する上級管理者のサポートを確保する

企業の経営陣と取締役会のメンバー必ずしもコンピューティングの高性能エキスパートである必要はありませんが、彼らの理解とサポートがなければ決して必要ありません。これらのマネージャーは全員、ハイ パフォーマンス コンピューティング (HPC) について十分に理解しており、企業のために行われる可能性のある大規模なハードウェア、ソフトウェア、トレーニングへの投資を明確にサポートできる必要があります。これは、次の 2 つの側面について教育する必要があることを意味します。(1) HPC とは何か、そしてなぜ HPC が通常の分析と異なり、特別なハードウェアとソフトウェアが必要なのか。 (2) 企業がビジネス目標を達成するために、従来の分析ではなく HPC を使用する必要がある理由。これらの教育への取り組みは両方とも、最高情報責任者 (CIO) または最高開発責任者 (CDO) の責任となります。

レッサー氏は、「HPCの導入に最も積極的な企業は、HPCが本物であると信じているテクノロジー企業であり、彼らはAmazon AWSクラウドサービスのことを指しているが、これは単なるAmazonの小売事業としてスタートし、今では巨大な利益センターとなっている」と述べた。 ."

2. カスタマイズ可能な事前構成済みのハードウェア プラットフォームを検討します

PSSC Labs のような企業は、事前にパッケージ化され、事前構成された HPC ハードウェアを提供しています。 「当社には HPC のベスト プラクティスに基づいた基本パッケージがあり、顧客と協力してコンピューティングのニーズに基づいてその基本パッケージをカスタマイズしています」とレッサー氏は述べ、ほぼすべてのデータセンターで何らかのカスタマイズが必要であると指摘しました。

3. 利益を理解する

他の IT 投資と同様、HPC は費用対効果が高く、ビジネスは投資収益率 (ROI) を達成できなければなりません。これは経営陣や取締役会の頭の中で明確にされています。 「良い例は航空機の設計です」とレッサー氏は言う。 「ハイパフォーマンス コンピューティング (HPC) は巨額の投資ですが、企業が HPC を使用して設計をシミュレーションし、99 の精度を実現できることを発見すると、物理的な風洞を借りる必要がなくなるので、すぐに回収できます。」

4. 独自の IT スタッフをトレーニングする

企業の IT スタッフにとって HPC コンピューティングへの移行は簡単ではありませんが、企業がオンプレミスでの運用を実行する場合は、チームが自給自足できるように配置する必要があります。

最初は、企業が始めるために外部のコンサルタントを雇う必要があるかもしれません。ただし、コンサルティング業務の目標は常に 2 つである必要があります。(1) HPC アプリケーションを実行し続けること、(2) 従業員が業務を引き継げるように知識を従業員に伝達することです。企業はこれで満足すべきではありません。

HPC チームの中核は、企業の質問に答えるためのハイ パフォーマンス コンピューティングに必要な非常に複雑なアルゴリズムを開発できるデータ サイエンティストの必要性です。また、C+ または Fortran の強力なスキルを持ち、並列処理環境で強力なシステムを操作できるプログラマ、またはネットワーク通信の専門家も必要です。

「要するに、企業が 2 週間に 1 ～ 2 回ジョブを実行している場合、HPC をホストするためにクラウドに移行する必要があるということです。」とレッサー氏は言いました。「しかし、企業が HPC リソースを使用して次のようなジョブを実行している場合は、製薬会社やバイオテクノロジー企業など、会社でこれを 1 日に複数回実行する可能性がある場合、クラウドで実行するのはお金の無駄なので、独自の社内運用を検討する必要があります。」