Cara Mengendalikan Latihan Pittorch Diagihkan di Centos

Pytorch mengedarkan latihan pada sistem CentOS memerlukan mengikuti langkah -langkah berikut:

1. Pemasangan Pytorch: Premisnya ialah Python dan PIP dipasang dalam sistem CentOS. Bergantung pada versi CUDA anda, dapatkan arahan pemasangan yang sesuai dari laman web rasmi Pytorch. Untuk latihan CPU sahaja, anda boleh menggunakan arahan berikut:

    Pip Pasang Torch Torchvision Torchaudio

   Jika anda memerlukan sokongan GPU, pastikan versi CUDA dan CUDNN yang sepadan dipasang dan gunakan versi PyTorch yang sepadan untuk dipasang.

2. Konfigurasi Alam Sekitar Teragih: Latihan yang diedarkan biasanya memerlukan pelbagai mesin atau mesin berbilang mesin tunggal. Semua nod yang mengambil bahagian dalam latihan mestilah dapat mengakses rangkaian antara satu sama lain dan mengkonfigurasi pembolehubah persekitaran dengan betul seperti MASTER_ADDR (induk nod IP alamat) dan MASTER_PORT (mana -mana nombor port yang tersedia).

3. Skrip latihan yang diedarkan: Gunakan Pakej torch.distributed . torch.nn.parallel.DistributedDataParallel digunakan untuk membungkus model anda, manakala torch.distributed.launch atau accelerate perpustakaan digunakan untuk memulakan latihan diedarkan.

   Berikut adalah contoh skrip latihan yang diedarkan mudah:

    obor import
   import obor.nn sebagai nn
   import obor.Optim sebagai Optim
   dari obor.nn.parallel Import DistributedDataParallel sebagai DDP
   import obor. Dimasukkan sebagai dist
   
   Def Train (Rank, World_size):
       dist.init_process_group (backend = 'nccl', init_method = 'env: //') # Inisialisasi kumpulan proses, gunakan model backend nccl = ... # model definisi model anda.cuda (pangkat) # gerakkan model ke gpu yang ditentukan
   
       ddp_model = ddp (model, device_ids = [rank]) # Gunakan DDP untuk membungkus kriteria model = nn.crossentropyloss (). cuda (pangkat) obor.utils.data.distributed.distributedSampler (dataset, num_replicas = world_size, pangkat = pangkat)
       loader = obor.utils.data.dataloader (dataset, batch_size = ..., sampler = sampler)
   
       untuk zaman dalam julat (...):
           sampler.set_epoch (epoch) # Untuk setiap resampling zaman, sasaran dalam loader:
               data, sasaran = data.cuda (pangkat), target.cuda (pangkat)
               optimizer.zero_grad ()
               output = ddp_model (data)
               kerugian = kriteria (output, sasaran)
               kerugian.backward ()
               Optimizer.Step ()
   
       dist.destroy_process_group () # memusnahkan kumpulan proses jika __name__ == "__main__":
       Import Argparse
       parser = argParse.ArgumentParser ()
       parser.add_argument ('-saiz dunia', jenis = int, lalai = 2)
       parser.add_argument ('-pangkat', jenis = int, lalai = 0)
       args = parser.parse_args ()
       Keretapi (args.rank, args.world_size)

4. Permulaan Latihan Diagihkan: Gunakan torch.distributed.launch Tool untuk memulakan latihan yang diedarkan. Sebagai contoh, jalankan dua GPU:

    python -m obor.distributed.launch --nproc_per_node = 2 your_training_script.py

   Dalam kes pelbagai nod, pastikan setiap nod menjalankan proses yang sama dan nod boleh mengakses satu sama lain.

5. Pemantauan dan Debugging: Latihan yang diedarkan mungkin menghadapi masalah komunikasi rangkaian atau penyegerakan. Gunakan nccl-tests untuk menguji sama ada komunikasi antara GPU adalah normal. Pembalakan terperinci adalah penting untuk debugging.

Sila ambil perhatian bahawa langkah -langkah di atas menyediakan rangka asas yang mungkin perlu diselaraskan mengikut keperluan dan persekitaran khusus dalam aplikasi sebenar. Adalah disyorkan untuk merujuk kepada arahan terperinci dokumentasi PyTorch rasmi mengenai latihan yang diedarkan.

Atas ialah kandungan terperinci Cara Mengendalikan Latihan Pittorch Diagihkan di Centos. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!