Šajā emuārā mēs koncentrēsimies uz veidiem, kā varat palielināt GPU izmantošanu programmā PyTorch.
Kā palielināt GPU izmantošanu PyTorch?
Ir vairākas metodes, ko var izmantot, lai palielinātu GPU izmantošanu un nodrošinātu, ka sarežģītu mašīnmācības modeļu apstrādei tiek izmantoti labākie aparatūras resursi. Šīs taktikas ietver koda rediģēšanu un PyTorch funkciju izmantošanu. Tālāk ir norādīti daži svarīgi padomi un triki:
- Datu un partijas izmēru ielāde
- Modeļi ar mazāku atmiņu
- PyTorch zibens
- Pielāgojiet izpildlaika iestatījumus pakalpojumā Google Colab
- Notīriet kešatmiņu optimizācijai
Datu un partijas izmēru ielāde
' Datu ielādētājs ” PyTorch izmanto, lai definētu datu specifikācijas, kas jāielādē procesorā ar katru dziļās mācīšanās modeļa pāreju. Lielāks ' partijas lielums ” datu būs nepieciešama lielāka apstrādes jauda un palielinās pieejamā GPU izmantošana.
Sintakse Dataloader ar noteiktu partijas lielumu PyTorch piešķiršanai pielāgotam mainīgajam ir norādīta tālāk:
Increase_GPU_Utilization = DataLoader ( partijas_lielums = 32 )
Modeļi ar mazāku atmiņu
Katra modeļa arhitektūrai ir nepieciešams atšķirīgs apjoms ' atmiņa ”, lai veiktu tā optimālajā līmenī. Modeļi, kas efektīvi izmanto mazāk atmiņas laika vienībā, spēj strādāt ar partijas izmēriem, kas ir daudz lielāki nekā citi.
PyTorch zibens
PyTorch ir samazināta versija, kas ir “ PyTorch zibens ”. Tas ir optimizēts zibens ātrai veiktspējai, kā redzams no tā nosaukuma. Lightning pēc noklusējuma izmanto GPU un piedāvā daudz ātrāku apstrādi mašīnmācīšanās modeļiem. Galvenā Lightning priekšrocība ir tas, ka nav nepieciešams standarta kods, kas var kavēt apstrādi.
Importējiet nepieciešamās bibliotēkas PyTorch projektā, izmantojot tālāk norādīto sintaksi:
! pip instalēšanas lodlampa
! pip instalēt pytorch - zibens
imports lāpa
imports pytorch_lightning
Pielāgojiet izpildlaika iestatījumus pakalpojumā Google Colab
Google Colaboratory ir mākoņa IDE, kas saviem lietotājiem nodrošina bezmaksas GPU piekļuvi PyTorch modeļu izstrādei. Pēc noklusējuma Colab projekti darbojas CPU, taču iestatījumus var mainīt.
Atveriet Colab piezīmju grāmatiņu, dodieties uz Izpildes laiks ' opciju izvēļņu joslā un ritiniet uz leju līdz ' Mainiet izpildlaika iestatījumus ”:
Pēc tam atlasiet 'T4 GPU' opciju un noklikšķiniet uz ' Saglabāt ”, lai piemērotu izmaiņas GPU izmantošanai:
Notīriet kešatmiņu optimizācijai
PyTorch ļauj saviem lietotājiem notīrīt atmiņas kešatmiņu, lai varētu atbrīvot vietu jaunu procesu darbībai. ' Kešatmiņa ” saglabā datus un informāciju par modeļiem, kas tiek darbināti, lai ietaupītu laiku, kas tiks pavadīts šo modeļu pārlādēšanai. Kešatmiņas notīrīšana nodrošina lietotājiem vairāk vietas jaunu modeļu palaišanai.
GPU kešatmiņas notīrīšanas komanda ir dota tālāk:
lāpa. savādāk . tukša_kešatmiņa ( ) 
Šie padomi tiek izmantoti, lai optimizētu mašīnmācīšanās modeļu darbību ar GPU programmā PyTorch.
Pro-Tip
Google Colab ļauj saviem lietotājiem piekļūt informācijai par GPU izmantošanu, izmantojot “ nvidia ”, lai iegūtu informāciju par to, kur tiek izmantoti aparatūras resursi. Tālāk ir sniegta komanda, lai parādītu informāciju par GPU izmantošanu:
! nvidia - smi 
Veiksmi! Mēs tikko esam parādījuši dažus veidus, kā palielināt GPU izmantošanu PyTorch.
Secinājums
Palieliniet GPU izmantošanu programmā PyTorch, dzēšot kešatmiņu, izmantojot PyTorch Lightning, pielāgojot izpildlaika iestatījumus, izmantojot efektīvus modeļus un optimālus partijas izmērus. Šīs metodes ļoti palīdz nodrošināt, ka dziļās mācīšanās modeļi darbojas vislabākajā veidā un spēj izdarīt pamatotus secinājumus un secinājumus no pieejamajiem datiem. Mēs esam parādījuši paņēmienus, lai palielinātu GPU izmantošanu.