这个多部分的教程通过使用开源工具构建本地机器学习管道为您提供指导。 它非常适合预算的初创公司,强调控制和成本可预测性。
键优点:
>目标受众:
本指南适用于软件工程师或个人建立可准备生产的ML型号,尤其是ML管道的新模型。 >先决条件:使用的工具:
docker
kubernetes
>牧场主(带有RKE)
> kubeflow/kubeflow管道(用后面的部分覆盖)>您将至少需要两台Linux机器(或启用了桥接网络和滥交模式的VM),在同一LAN上被指定为“ Master”和“ Worker”。 请注意,使用VMS限制GPU访问和性能。>
基本机器详细信息(IP地址,用户名,SSH键)才能进行配置。 本教程将使用临时主机名(例如
)。 在两台机器上相应地修改您的文件,以反映此主机名和IP地址。 如果使用VMS,请将主机名输入添加到主机计算机的文件以及浏览器访问中。
步骤1:获取RKE二进制:>
>从github发行页面下载适合您的操作系统的二进制文件,使其可执行,然后将其移至
。rancher-demo.domain.test
来验证安装
/etc/hosts
>/etc/hosts
>步骤2:准备Linux主机:
on所有>机器:
docker
>组中。 注销并返回以使小组更改以生效。AllowTcpForwarding yes
in/etc/ssh/sshd_config
)。sudo swapoff -a
禁用交换,并在/etc/fstab
>中注释交换条目。sudo sysctl net.bridge.bridge-nf-call-iptables=1
。resolvconf
>,添加名称服务器(例如,8.8.4.4和8.8.8.8)和restart/etc/resolvconf/resolv.conf.d/head
。
resolvconf
>rke config
步骤4:提出群集:cluster.yml
run
rke up
>
copyto。
>步骤6:安装kubectl:kube_config_cluster.yml
>
使用提供的命令在主节点上$HOME/.kube/config
。通过运行
来验证安装
>>步骤7:安装头盔3:
>使用提供的命令安装头盔3。
kubectl
>kubectl get nodes
步骤8:使用Helm安装牧场主:
>添加牧场主存储库,创建一个名称空间,然后使用Helm安装牧场主。 监视部署状态。
>步骤9:设置入口(用于无负载平衡器的访问):
> >创建一个>文件(将主机调整到您选择的主机名中),然后使用
。>cattle-system
>步骤10:访问牧场主:
>访问Rancher UI at(或您选择的主机名),创建一个密码,并设置域名。
ingress.yml
kubectl apply -f ingress.yml
>
> >安装cert-manager(版本v0.9.1)使用提供的命令。监视豆荚以确保它们运行。>
这将完成Kubernetes群集设置。该系列的下一部分将涵盖安装kubeflow。常见问题(常见问题解答):
> FAQS部分为有关本地Kubernetes设置的常见问题提供了全面的答案,涵盖了收益,与基于云的解决方案,挑战,安全考虑,迁移策略,硬件需求,缩放,Kubernetes操作员,机器学习工作量和机器学习工作和机器学习工作和机器学习工作和机器学习工作,并进行比较绩效监控。以上是机器学习管道:设置本地kubernetes的详细内容。更多信息请关注PHP中文网其他相关文章!