Comment faire le prétraitement des données avec Pytorch sur CentOS

Le traitement efficace des données Pytorch sur le système CentOS nécessite les étapes suivantes:

1. Installation de dépendance: mise à jour d'abord le système et installez Python 3 et PIP:

    Sudo Yum Update -y
   sudo yum install python3 -y
   sudo yum install python3-pip -y

   Ensuite, téléchargez et installez la boîte à outils CUDA et CUDNN à partir du site officiel de Nvidia en fonction de votre version CentOS et du modèle GPU.

2. Configuration de l'environnement virtuel (recommandé): utilisez Conda pour créer et activer un nouvel environnement virtuel, par exemple:

    conda crée -n pytorch python = 3,8
   pytorch activé par conda

3. Installation de Pytorch: dans l'environnement virtuel activé, utilisez Conda ou PIP pour installer Pytorch. La version qui prend en charge CUDA est la suivante:

    Conda Installer Pytorch Torchvision Torchaudio Cudatoolkit = 11,3 -c Pytorch # ajuster le numéro de version Cudatoolkit pour correspondre à votre version CUDA

   Ou utiliser PIP (vous devrez peut-être spécifier la version CUDA):

    pip installer torch TorchVision Torchaudio

4. Prétraitement des données et amélioration: utilisez le module torchvision.transforms pour le prétraitement des données et l'amélioration. Les exemples suivants montrent le redimensionnement de l'image, le retournement horizontal aléatoire, la conversion en tenseur et la normalisation:

    Importer une torche
   Importer TorchVision
   de TorchVision Import Transforts
   
   transform = transforms.composer ([
       transforms.resize ((224, 224)),
       transforms.randomhorizontalflip (),
       transforms.totensor (),
       transforts.normalisant ((0,5, 0,5, 0,5), (0,5, 0,5, 0,5))
   ])
   
   DataSet = TorchVision.Datasets.imageFolder (root = 'path / to / data', transform = transform)
   dataloader = torch.utils.data.dataloader (ensemble de données, batch_size = 32, shuffle = true)

5. Ensemble de données personnalisé: pour les ensembles de données personnalisés, héritez de la classe torch.utils.data.Dataset et implémentez __getitem__ et __len__ . Par exemple:

    Importer un système d'exploitation
   à partir de l'image d'importation PIL
   De Torch.utils.data Import DataSet
   
   classe MyDataset (ensemble de données):
       def __init __ (self, root_path, étiquettes):
           self.root_path = root_path
           self.labels = étiquettes # liste des étiquettes pour l'image correspondante self.image_files = [f pour f dans os.listdir (root_path) si f.endswith (('. jpg', '.png'))] # Supposons que l'image est dans JPG ou PNG format def __TiteM __ (sel, index):
           img_path = os.path.join (self.root_path, self.image_files [index])
           img = image.open (img_path)
           label = self.labels [index]
           Retour IMG, étiquette
   
       def __len __ (self):
           return Len (self.image_files)

6. Chargement des données: utilisez torch.utils.data.DataLoader pour charger et les données par lots:

    De Torch.utils.data Import DatalOader
   
   my_dataset = mydataset ('path / to / your / data', [0,1,0,1, ...]) # remplacer 'path / to / your / data' et tag list data_loader = dataloader (dataset = my_dataset, batch_size = 64, shuffle = true, num_workers = 0) # num_workers ajustement basé sur votre numéro de base CPU sur votre CPU Numéro de base CPU

   N'oubliez pas de remplacer le chemin de l'espace réservé et d'étiqueter par vos données réelles. Le paramètre num_workers peut être ajusté en fonction du nombre de cœurs CPU pour améliorer la vitesse de chargement des données.

Grâce aux étapes ci-dessus, vous pouvez terminer le prétraitement des données de Pytorch sur CentOS. Si vous avez des questions, veuillez vous référer à la documentation officielle de Pytorch ou demander un soutien communautaire.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!