機械学習パイプライン：オンプレミスKubernetesのセットアップ

このマルチパートのチュートリアルは、オープンソースツールを使用してオンプレミスの機械学習パイプラインを構築することをガイドします。 予算のスタートアップに最適で、コントロールとコストの予測可能性を強調しています。

重要な利点：

費用対効果：
• クラウドサービス費用を回避します カスタマイズ可能：
MLパイプラインをより強力に制御します。
• アクセシブル：
Rancher Kubernetes Engine（RKE）でKubernetesのセットアップを簡素化し、基本的なDockerとLinuxのスキルのみを必要とします。
• 実用的なアプローチ：MLパイプライン開発のための実践的なガイド、初心者に最適です。
• なぜオンプレミスに行くの？ ​​

多くの人はクラウドストレージ（AWS S3、Google Cloud Storage）を想定していますが、このシリーズは、リソース制約の環境に最適な既存のサーバーを使用して機能的なパイプラインを構築することを示しています。 このアプローチは、予測不可能なコストなしで安全な学習環境を提供します。

ターゲットオーディエンス：

このガイドは、ソフトウェアエンジニアまたはプロダクション対応のMLモデル、特にMLパイプラインの新しいモデルを構築するためのものです。

前提条件： Linux（Ubuntu 18.04推奨）と基本的なDockerの知識に精通していることが役立ちます。 深いKubernetesの専門知識は必要ありません

使用されているツール：

docker

kubernetes

ランチャー（rke） Kubeflow/Kubeflow Pipelines（後の部分で覆われています）

minio
tensorflow（後の部分で覆われています）
• フェーズ1：ランチャーとの簡単なKubernetesのインストール
• このセクションでは、rkeで簡素化されたKubernetesインストールの挑戦的なタスクに焦点を当てています。
• ステップ0：マシンの準備：

「マスター」および「ワーカー」として指定された同じLANに、少なくとも2つのLinuxマシン（またはブリッジ付きネットワークと乱交モードが有効になっているVM）が必要です。 VMSを使用すると、GPUアクセスとパフォーマンスが制限されています

構成には、必須マシンの詳細（IPアドレス、ユーザー名、SSHキー）が必要です。 このチュートリアルには、一時的なホスト名（例：

）が使用されます。 このホスト名とIPアドレスを反映するように、両方のマシンで

ファイルを変更します。 VMSを使用している場合は、ブラウザアクセスのためにホストマシンのファイルにホスト名エントリを追加します。

ステップ1：rkeバイナリの取得：

GitHubリリースページからOSの適切なRKEバイナリをダウンロードし、実行可能にして、

に移動します。実行してインストールを確認してください

。

ステップ2：Linuxホストの準備：rancher-demo.domain.test/etc/hosts /etc/hostson

すべての

マシン：

1. docker：インストールDocker CE（バージョン19.03以降）を使用してインストールします。インストールを確認し、ユーザーをdockerグループに追加します。 グループの変更を有効にするためにログアウトして戻ってきます。
2. sshキー：マスターノードにSSHキーを設定し、すべてのワーカーノードに公開キーをコピーします。 sshサーバーを構成して、ポート転送（inAllowTcpForwarding yes）を許可します。 /etc/ssh/sshd_config
スワップを無効にします：
3. を使用してスワップを無効にし、。 sudo swapoff -a/etc/fstabsysctl設定を適用します：
run
4. 。 sudo sysctl net.bridge.bridge-nf-call-iptables=1dns構成（ubuntu 18.04）：
インストール
5. 、、edit、nameservers（例：8.8.4.4および8.8.8.8）、およびrestArtresolvconf。/etc/resolvconf/resolv.conf.d/head。 resolvconf

ステップ3：クラスター構成ファイル：

マスターノードで、を使用して

ファイルを作成します。 必要な情報（IPアドレス、ホスト名、ロール、SSHキーパスなど）を提供します。

rke configステップ4：クラスターを持ち上げる：cluster.yml

マスターノードで

実行してKubernetesクラスターを作成します。 このプロセスには時間がかかります。

ステップ5：kubeconfigのコピー：

rke up

コピー

から。

ステップ6：kubectlのインストール：kube_config_cluster.yml$HOME/.kube/config

指定されたコマンドを使用してマスターノードにインストールします。実行してインストールを確認してください

。

ステップ7：ヘルムのインストール3：

kubectl kubectl get nodes指定されたコマンドを使用してヘルム3をインストールします

ステップ8：ヘルムを使用した牧場主のインストール：

ランチャーリポジトリを追加し、名前空間を作成し、ヘルムを使用してランチャーをインストールします。 展開ステータスを監視します

ステップ9：イングレスのセットアップ（ロードバランサーなしでアクセスするため）：

ファイルを作成し（ホストを選択したホスト名に適合）、cattle-system。

を使用して適用します。

ステップ10：牧場主へのアクセス：

ランチャーUIにingress.yml（または選択したホスト名）にアクセスし、パスワードを作成し、ドメイン名を設定します。 kubectl apply -f ingress.yml

ステップ11：cert-managerのインストール：

https://rancher-demo.domain.test指定されたコマンドを使用して、CERT-MANAGER（バージョンV0.9.1）をインストールします。ポッドを監視して、それらが実行されていることを確認します

これにより、Kubernetesクラスターのセットアップが完了します。シリーズの次の部分では、Kubeflowのインストールについて説明します。

よくある質問（FAQ）：

FAQSセクションでは、オンプレミスのKubernetesセットアップ、クラウドベースのソリューションとの比較、課題、セキュリティ考慮事項、移行戦略、ハードウェア要件、スケーリング、Kubernetesオペレーター、機械学習ワークロード、および機械学習ワークロード、および機械学習のカバーに関する一般的な質問に対する包括的な回答を提供します。パフォーマンス監視。

以上が機械学習パイプライン：オンプレミスKubernetesのセットアップの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。