기계 학습 파이프 라인 : 온 프레미스 Kubernetes 설정

이 다중 부위 튜토리얼은 오픈 소스 도구를 사용하여 온 프레미스 머신 러닝 파이프 라인을 구축함으로써 안내합니다. 제어 및 비용 예측 가능성을 강조하면서 예산에 대한 신생 기업에 적합합니다.

주요 장점 :

비용 효율적인 : 클라우드 서비스 비용을 피하십시오 사용자 정의 가능 :

ML 파이프 라인을 더 잘 제어 할 수 있습니다 액세스 가능 : RKE (Rancher Kubernetes Engine)를 사용하여 Kubernetes 설정을 단순화하며 기본적인 Docker 및 Linux 기술 만 필요합니다. 실용적 접근 : ML 파이프 라인 개발을위한 실습 가이드, 초보자에게 이상적입니다.

• 왜 온 프레미스로 가는가? 많은 많은 사람들이 클라우드 스토리지 (AWS S3, Google Cloud Storage)를 가정하지만이 시리즈는 기존 서버를 사용하여 기능 파이프 라인을 구축하는 것을 보여줍니다. 이 접근법은 예측할 수없는 비용없이 안전한 학습 환경을 제공합니다.
대상 청중 :
• 이 안내서는 소프트웨어 엔지니어 또는 프로덕션 준비된 ML 모델, 특히 ML 파이프 라인에 새로운 모델을 구축하는 개인을위한 가이드입니다. 전제 조건 : Linux (Ubuntu 18.04 권장)에 대한 친숙 함 및 기본적인 Docker 지식이 도움이됩니다. Deep Kubernetes 전문 지식이 필요하지 않습니다 사용 된 도구 :
docker Kubernetes rancher (rke와 함께) kubeflow/kubeflow 파이프 라인 (나중에 덮여 ​​있음) 미니오 텐서 플로우 (나중에 덮여)
• 1 단계 : 목장주가있는 Easy Kubernetes 설치 이 섹션은 rke로 단순화 된 Kubernetes 설치의 도전적인 작업에 중점을 둡니다. 단계 0 : 기계 준비 : '마스터'및 '작업자'로 지정된 동일한 LAN에서 최소 2 개의 Linux 시스템 (또는 브리지 네트워킹 및 무차별 모드가 활성화 된 VM)이 필요합니다. VMS를 사용하면 GPU 액세스 및 성능이 제한됩니다
• 필수 기계 세부 사항 (IP 주소, 사용자 이름, SSH 키)은 구성을 위해 필요합니다. 이 튜토리얼에는 임시 호스트 이름 (예 : )이 사용됩니다. 이 호스트 이름과 IP 주소를 반영하기 위해 두 머신에서 파일을 수정하십시오. vms를 사용하는 경우 브라우저 액세스를 위해 호스트 머신의 파일에 호스트 이름 항목을 추가하십시오. 1 단계 : rke 바이너리 획득 : github 릴리스 페이지에서 OS에 적합한 RKE BINIAR를 다운로드하여 실행 가능하게 만들고
로 이동하십시오.

를 실행하여 설치를 확인하십시오 2 단계 : Linux 호스트 준비 :

on All

기계 :

docker 설치 : 제공된 명령을 사용하여 Docker CE (버전 19.03 이상)를 설치하십시오. 설치를 확인하고 사용자를
1. 그룹에 추가하십시오. 그룹 변경이 적용되도록 로그 아웃하고 다시 들어갑니다. SSH 키 : 마스터 노드에 SSH 키를 설정하고 공개 키를 모든 작업자 노드에 복사하십시오. 포트 전달을 허용하도록 ssh 서버를 구성하십시오 (). swap 비활성화 : docker 를 사용하여 스왑을 비활성화하고 . sysctl 설정을 적용하십시오 :
run . dns 구성 (Ubuntu 18.04) : install , 편집 , add nameservers (예 : 8.8.4.4 및 8.8.8.8), . 3 단계 : 클러스터 구성 파일 : 마스터 노드에서 를 사용하여 파일을 만듭니다. 필요한 정보 (IP 주소, 호스트 이름, 역할, SSH 키 경로 등)를 제공합니다. 4 단계 : 클러스터를 가져 오기 : AllowTcpForwarding yes 마스터 노드에서 /etc/ssh/sshd_config run 를 실행하여 Kubernetes 클러스터를 만듭니다. 이 과정은 시간이 좀 걸립니다.
2. 5 단계 : kubeconfig 복사 : 복사 로 6 단계 : Kubectl 설치 : sudo swapoff -a 제공된 명령을 사용하여 마스터 노드에 /etc/fstab를 설치하십시오.
를 실행하여 설치를 확인하십시오 7 단계 : 헬름 설치 3 :
3. 제공 명령을 사용하여 Helm 3을 설치하십시오 8 단계 : 헬름을 사용하여 목장주 설치 : 목장 리포지토리를 추가하고 sudo sysctl net.bridge.bridge-nf-call-iptables=1 네임 스페이스를 만들고 Helm을 사용하여 목장주를 설치하십시오. 배포 상태를 모니터링하십시오 9 단계 : Ingress 설정 (부하 밸런서없이 액세스 용) :
파일을 만들고 (호스트를 선택한 호스트 이름에 적응 시키면) 를 사용하여 적용하십시오. 10 단계 : 목장에 액세스 :
4. Rancher UI에 액세스하여 resolvconf 11 단계 : Cert-Manager 설치 : /etc/resolvconf/resolv.conf.d/head 제공된 명령을 사용하여 Cert-Manager (버전 v0.9.1)를 설치하십시오. 포드를 모니터링하여 실행 중인지 확인하십시오 이것은 Kubernetes 클러스터 설정을 완료합니다. 시리즈의 다음 부분은 KubeFlow 설치를 다룹니다. resolvconf

   자주 묻는 질문 (faqs) : FAQS 섹션은 온 프레미스 Kubernetes 설정에 대한 일반적인 질문에 대한 포괄적 인 답변, 혜택, 클라우드 기반 솔루션과의 비교, 도전, 보안 고려 사항, 마이그레이션 전략, 하드웨어 요구 사항, 스케일링, Kubernetes 운영자, 기계 학습 워크로드 및 기계 학습 워크로드에 대한 일반적인 답변을 제공합니다. 성능 모니터링.

위 내용은 기계 학습 파이프 라인 : 온 프레미스 Kubernetes 설정의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!