GPU 인스턴스를 사용하여 AI 생태계에 대한 Alibaba Cloud Linux 3 지원 시연

최근 Alibaba Cloud Linux 3에서는 AI 개발 경험을 더욱 효율적으로 만들기 위해 몇 가지 최적화 및 업그레이드를 제공했습니다. 이 기사는 "Alibaba Cloud Linux 3의 AI 기능 소개" 시리즈의 미리 보기입니다. Alibaba Cloud Linux 3을 시연하기 위한 예시로 인스턴스를 사용합니다. AI 생태계를 지원합니다. 다음으로 Alinux를 기반으로 한 클라우드 시장 이미지를 주로 소개하여 사용자에게 즉시 사용 가능한 AI 기본 소프트웨어 환경을 제공하는 기사와 AMD를 기반으로 한 AI 기능의 차별화를 소개하는 두 편의 기사가 게재될 예정입니다. 계속 지켜봐 주시기 바랍니다. Alibaba Cloud Linux 3에 대한 자세한 내용은 공식 웹사이트(https://www.aliyun.com/product/ecs/alinux

)를 참조하세요.

Linux 운영 체제에서 인공 지능(AI) 애플리케이션을 개발할 때 개발자는 다음을 포함하되 이에 국한되지 않는 몇 가지 문제에 직면할 수 있습니다.

1. GPU 드라이버: Linux 시스템에서 훈련이나 추론을 위해 NVIDIA GPU를 사용하려면 올바른 NVIDIA GPU 드라이버를 설치하고 구성해야 합니다. 다양한 운영 체제와 GPU 모델에는 다양한 드라이버가 필요할 수 있으므로 일부 추가 작업이 필요할 수 있습니다.

2. AI 프레임워크 컴파일: Linux 시스템에서 AI 프레임워크로 프로그래밍하는 경우 적절한 컴파일러 및 기타 종속성을 설치하고 구성해야 합니다. 이러한 프레임워크에는 컴파일이 필요한 경우가 많으므로 컴파일러 및 기타 종속성이 올바르게 설치되었는지, 컴파일러가 올바르게 구성되었는지 확인해야 합니다.

3. 소프트웨어 호환성: Linux 운영 체제는 다양한 소프트웨어와 도구를 지원하지만 다양한 버전과 배포판 간에 호환성 문제가 있을 수 있습니다. 이로 인해 일부 프로그램이 제대로 실행되지 않거나 일부 운영 체제에서 사용하지 못할 수 있습니다. 따라서 R&D 인력은 작업 환경의 소프트웨어 호환성을 이해하고 필요한 구성 및 수정을 수행해야 합니다.

4. 성능 문제: AI 소프트웨어 스택은 일반적으로 최상의 성능을 달성하기 위해 다양한 CPU 및 GPU 모델의 전문적인 최적화가 필요한 매우 복잡한 시스템입니다. 소프트웨어 및 하드웨어 협업의 성능 최적화는 AI 소프트웨어 스택에 있어 어려운 작업으로, 높은 수준의 기술과 전문 지식이 필요합니다.

Alibaba Cloud Linux 3는 Alibaba Cloud의 3세대 클라우드 서버 운영 체제(이하 "Alinux 3")로 Anolis OS를 기반으로 개발된 상용 운영 체제로 개발자에게 강력한 AI 개발 플랫폼을 제공합니다. Dragon Lizard 생태 저장소(epao)인 Alinux 3는 주류 NVIDIA GPU 및 CUDA 생태계를 완벽하게 지원하여 AI 개발을 더욱 편리하고 효율적으로 만듭니다. 또한 Alinux 3는 주류 AI 프레임워크인 TensorFlow/PyTorch 및 Intel/amd와 같은 다양한 CPU 플랫폼에 의한 AI 최적화도 지원합니다. 또한 Modelscope 및 Huggingface와 같은 대형 모델 SDK에 대한 기본 지원을 도입하여 개발자에게 풍부한 리소스와 리소스를 제공합니다. 도구. 이러한 지원은 Alinux 3를 완전한 AI 개발 플랫폼으로 만들어 환경에 간섭하지 않고도 AI 개발자의 문제점을 해결하고 AI 개발 경험을 더 쉽고 효율적으로 만듭니다. Alinux 3는 개발자에게 강력한 AI 개발 플랫폼을 제공합니다. 개발자가 직면할 수 있는 위의 문제를 해결하기 위해 Alinux 3는 다음과 같은 최적화 업그레이드를 제공합니다: 1.

Alinux 3는 Dragon Lizard 생태학적 소프트웨어 저장소(epao)

를 도입하여 개발자가 한 번의 클릭으로 주류 NVIDIA GPU 드라이버 및 CUDA 가속 라이브러리를 설치할 수 있도록 지원하여 개발자가 드라이버 버전을 일치시키고 수동 설치하는 시간을 절약합니다.

2. epao 웨어하우스는 주류 AI 프레임워크 Tensorflow/PyTorch 버전도 지원합니다. 동시에 AI 프레임워크의 종속성 문제는 개발자가 필요하지 않습니다. 추가 컴파일을 수행하고 시스템 Python 환경과 빠르게 일치할 수 있습니다.

3. Alinux 3의 AI 기능이 개발자에게 제공되기 전에

모든 구성 요소는 호환성 테스트를 거쳤습니다. 개발자는 한 번의 클릭으로 해당 AI 기능을 설치할 수 있어 환경 구성에 나타날 수 있는 시스템 종속성을 제거할 수 있습니다. 사용 중 안정성을 향상시킵니다.

4. Alinux 3는 Intel/AMD와 같은 다양한 플랫폼의 CPU용 AI에 특별히 최적화되어 더 나은

하드웨어의 전체 성능을 출시합니다.

5. AIGC 산업의 빠른 반복에 더 빠르게 적응하기 위해 Alinux 3는 ModelScope 및 HuggingFace와 같은 대형 모델 SDK에 대한 기본 지원을 도입하여 개발자에게 풍부한 리소스와 도구를 제공합니다.

다차원 최적화 지원으로 Alinux 3는 완전한 AI 개발 플랫폼이 되어 AI 개발자의 문제점을 해결하고 AI 개발 경험을 더 쉽고 효율적으로 만듭니다.

다음은 AI 생태계에 대한 Alinux 3의 지원을 보여주기 위해 Alibaba Cloud GPU 인스턴스를 예로 사용합니다.

1. GPU 인스턴스 구매

2. Alinux 3 이미지

를 선택하세요.

3.epao 저장소 구성 설치

dnf 설치 -y anolis-epao-release

4. NVIDIA GPU 드라이버를 설치하세요

nvidia 드라이버를 설치하기 전에 nvidia 드라이버가 성공적으로 설치되었는지 확인하기 위해 kernel-devel이 설치되어 있는지 확인하십시오.

dnf install -y kernel-devel-$(uname-r)

Nvidia 드라이버 설치:

dnf 설치 -y nvidia-driver nvidia-driver-cuda

설치가 완료된 후 nvidia-smi 명령을 통해 GPU 장치 상태를 확인할 수 있습니다.

5. cuda 생태 라이브러리 설치

dnf 설치 -y cuda

6. AI 프레임워크 tensorflow/pytorch를 설치하세요

현재 CPU 버전의 tensorflow/pytorch가 제공되며, 향후 AI 프레임워크의 GPU 버전도 지원될 예정입니다.

dnf 설치 텐서플로우 -y dnf 설치 pytorch -y

설치가 완료되면 간단한 명령을 통해 설치 성공 여부를 확인할 수 있습니다.

7. 배포 모델

Alinux 3의 AI에 대한 생태학적 지원을 사용하여 GPT-2 Large 모델을 배포하여 이 기사 작성 작업을 계속할 수 있습니다.

후속 모델 다운로드를 용이하게 하려면 Git 및 Git LFS를 설치하세요.

dnf 설치 -y git git-lfs wget

Python 환경의 후속 배포를 용이하게 하려면 pip를 업데이트하세요.

python -m pip install --업그레이드 pip

Git LFS 지원을 활성화합니다.

자식 lfs 설치

write-with-transformer 프로젝트 소스 코드와 사전 훈련된 모델을 다운로드하세요. write-with-transformer 프로젝트는 GPT-2 대형 모델을 사용하여 콘텐츠를 계속 작성할 수 있는 웹 작성 APP입니다.

자식 클론 https://huggingface.co/spaces/merve/write-with-transformer

GIT_LFS_SKIP_SMUDGE=1 자식 클론 https://huggingface.co/gpt2-large

wget https://huggingface.co/gpt2-large/resolve/main/pytorch_model.bin -O gpt2-large/pytorch_model.bin

write-with-transformer에 필요한 종속성을 설치합니다.

cd ~/변압기로 쓰기

pip install --ignore-installed pyyaml==5.1

pip 설치 -r 요구사항.txt

환경 배포 후 웹 버전의 APP를 실행하여 GPT-2의 도움으로 글쓰기의 즐거움을 경험할 수 있습니다. 현재 GPT-2는 영어로 된 텍스트 생성만 지원합니다.

cd ~/변압기로 쓰기

sed -i 's?"gpt2-large"?"../gpt2-large"?g' app.py

sed -i '34s/10/32/;34s/30/120/' app.py

스트림라이트 실행 app.py --server.port 7860

외부 URL: http://:7860이 에코 메시지에 나타나 앱의 웹 버전이 성공적으로 실행되고 있음을 나타냅니다.

지금 클라우드 제품을 무료로 사용해 보려면 클릭하세요: https://click.aliyun.com/m/1000373503/

원본링크: https://click.aliyun.com/m/1000379727/

이 글은 알리바바 클라우드의 원본 콘텐츠이므로 무단 전재를 금합니다.

위 내용은 GPU 인스턴스를 사용하여 AI 생태계에 대한 Alibaba Cloud Linux 3 지원 시연의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!