Režģa meklēšana ar MLflow

Režģa meklēšanas priekšrocības

• Automātiskā hiperparametru regulēšana: Režģa meklēšana automatizē hiperparametru regulēšanu, kas ļauj veikt sistemātisku izpēti bez manuālas izmēģinājuma un kļūdas.
• Reproducējamība: režģa meklēšana nodrošina testa derīgumu, reproducējami iegūstot reproducējamus rezultātus, kas uzlabo saziņu un uzticamību.
• Pilnīga meklēšana: GS efektīvi atrod optimālos hiperparametrus modelim, izsmeļoši meklējot kombinācijas.
• Izturība: Režģa meklēšana ir stabils paņēmiens, kas ir izturīgs pret datu troksni, kas samazina pārmērīgu pielāgošanu.
• Vienkārši lietojams: Režģa meklēšana ir vienkārši lietojama un saprotama, kas padara to par dzīvotspējīgu metodi hiperparametru regulēšanai.
• Modeļu salīdzinājumi: režģa meklēšana vienkāršo modeļu salīdzināšanu un novērtēšanas metrikas izvēli.

Režģa meklēšanas trūkumi

• Aprēķinu izmaksas: Režģa meklēšana ir skaitļošanas ziņā dārga, lai pielāgotu lielu skaitu hiperparametru.
• Laikietilpīgs: Sarežģīta hiperparametru pielāgošana ir laikietilpīga.
• Ne vienmēr nepieciešams: Tagad tas vienmēr ir vajadzīgs; izlases veida meklēšana ir labākā alternatīva tai.

Piemērs: labāko modeļa iestatījumu atrašana universitātes uzņemšanas sistēmai

Apskatīsim režģa meklēšanas piemēru hiperparametru regulēšanai tiešsaistes universitāšu uzņemšanas sistēmas ietvaros. Šajā piemērā mēs izmantojam scikit-learn un vienkāršu Gradient Boosting Classifier (GBC) klasifikatoru, lai prognozētu studenta iespējamību tikt uzņemtam universitātē, pamatojoties uz tādiem faktoriem kā GPA punkti, SAT rādītāji, ACT rezultāti un ārpusstundu aktivitātes. Režģa meklēšanai GBC vietā ir pieejamas vairākas opcijas, tostarp loģistikas regresijas (LR), SVM (atbalsta vektora mašīna) utt.

Ģenerējiet izlases datus tiešsaistes uzņemšanas sistēmai, izmantojot MLflow režģa meklēšanai

Python Pandas un izlases pakotnes var izmantot, lai izveidotu fiktīvu datu kopu uzņemšanas sistēmai. Ar nejaušām vērtībām kolonnām APP_NO, GPA, SAT Score, ACT Score, Extracurricular Activity un Uzņemšanas statuss, šis kods ģenerē sintētisku uzņemšanas datu kopu. Mainīgais num_students nosaka, cik rindu ir datu kopā.

Pieņemšanas statuss tiek nejauši iestatīts, pamatojoties uz 70% pieņemšanas līmeni, un izlases modulis tiek izmantots, lai iegūtu izlases vērtības vairākām kolonnām. Demonstrācijas nolūkos tālāk norādītā koda daļa izveido viltotu uzņemšanas datu kopu ar nejaušām vērtībām un tiek saglabāta failā std_admission_dataset.csv:

Koda fragments:

Koda izpilde:

Izmantojiet komandu Python, lai apkopotu kodu, pēc tam izmantojiet komandu pip, lai instalētu konkrētu moduli, ja rodas moduļa kļūda. Izmantojiet pip3 instalēšanas komandu, lai instalētu norādīto bibliotēku, ja Python ir versija 3.X vai jaunāka.

Veiksmīga izpilde:

Ekrānuzņēmuma datu paraugs:

1. darbība. Importējiet bibliotēkas

• MLflow bibliotēka mašīnmācīšanās eksperimentu izsekošanai
• Pandas bibliotēka datu apstrādei un analīzei, kā arī mlflow.sklearn pakotne Scikit-Learn modeļu integrēšanai
• Ceturtajā rindā tiek importēta “brīdinājumu” bibliotēka, lai novērstu kļūdas
• ParameterGrid klase režģa meklēšanai modulī sklearn.model_selection
• GridSearchCV un GradientBoostingClassifier no sklearn.model_selection un ensemble attiecīgi režģa meklēšanas un gradienta pastiprināšanas klasifikatoru modeļiem
• Funkcijas accuracy_score un classification_report no moduļa sklearn.metrics, lai aprēķinātu modeļa precizitāti un ģenerētu klasifikācijas pārskatus.
• Kods importē OS moduli un iestata vides mainīgo GIT_PYTHON_REFRESH uz klusu.

Koda fragments:

2. darbība: iestatiet izsekošanas URI

MLflow servera izsekošanas URI tiek iestatīts, izmantojot funkciju mlflow.set_tracking_uri(), nodrošinot eksperimentiem un modeļiem vietējo mašīnu portā 5000.

3. darbība: ielādējiet un sagatavojiet uzņemšanas datu kopu

Importējiet Pandas bibliotēku kā panda_obj datu manipulēšanai un analīzei. Funkcija read_csv() tiek lietota, lai ielādētu uzņemšanas datu kopu. Ceļš uz datu kopu ir vienīgais arguments, kas nepieciešams funkcijai read_csv(). Ceļš uz datu kopu šajā gadījumā ir std_admission_dataset.csv. Izmantojot funkciju read_csv(), datu kopa tiek ielādēta Pandas DataFrame.

Kolonna Admission_Status no std_admissions_data DataFrame vispirms tiek noņemta ar kodu. Tā kā šajā kolonnā ir mērķa mainīgais, priekšapstrāde nav nepieciešama.

Pēc tam kods izveido divus jaunus mainīgos: “F” un “t”. Funkcijas ir ietvertas mainīgajā “F”, savukārt mērķa mainīgais ir ietverts mainīgajā “t”.

Pēc tam dati tiek sadalīti testēšanas un apmācības komplektos. Tas tiek paveikts, izmantojot funkciju tts() no sklearn.model_selection pakotnes. Funkcijas, mērķa mainīgais, testa lielums un nejaušais stāvoklis ir četri argumenti, kas nepieciešami funkcijai tts(). Parametrs test_size nosaka datu daļu, kas tiek izmantota pārbaudes nolūkiem. Tā kā testa lielums šajā gadījumā ir iestatīts uz 0,2, pārbaudei tiks izmantoti 20% datu.

Opcija random_state norāda nejaušo skaitļu ģeneratora sēklu. Tas tiek darīts, lai nodrošinātu, ka dati tiek atdalīti nejauši. Apmācības un testēšanas komplekti tagad tiek saglabāti mainīgajos F_training, F_testing, t_training un t_testing. Šīs kopas var izmantot, lai novērtētu un apmācītu mašīnmācīšanās modeļus.

Koda fragments:

4. darbība: iestatiet MLflow eksperimenta nosaukumu

5. darbība: definējiet gradienta pastiprināšanas klasifikatoru

Gradienta paaugstināšanas klasifikatora modelis tagad tiek saglabāts mainīgajā gbc_obj. Uzņemšanas datu kopu var izmantot, lai pārbaudītu un apmācītu šo modeli. Argumenta random_state vērtība ir 42. Tas garantē, ka modelis tiek apmācīts, izmantojot tieši to pašu nejaušo skaitļu ģeneratora sēklu, kas padara rezultātus atkārtojamus.

6. darbība: definējiet hiperparametru režģi

Sākotnēji kods izveido vārdnīcu param_grid. Hiperparametri, kas tiek pielāgoti, izmantojot režģa meklēšanu, ir ietverti šajā vārdnīcā. Param_grid vārdnīcu veido trīs atslēgas: n_estimators, learning_rate un max_depth. Šie ir gradientu paaugstinošā klasifikatora modeļa hiperparametri. Koku skaitu modelī nosaka hiperparametrs n_estimators. Modeļa mācīšanās ātrums tiek norādīts, izmantojot hiperparametru learning_rate. Hiperparametrs max_depth nosaka lielāko iespējamo modeļa koku dziļumu.

Koda fragments:

7. darbība: Veiciet režģa meklēšanu, izmantojot MLflow izsekošanu

Pēc tam kods atkārtojas vārdnīcā param_grid. Katrai hiperparametru kopai vārdnīcā kods veic šādas darbības:

• Sāk jaunu MLflow palaišanu
• Pārvērš hiperparametrus par sarakstu, ja tie vēl nav saraksts
• Reģistrē hiperparametrus MLflow
• Apmāca režģa meklēšanas modeli ar norādītajiem hiperparametriem
• Iegūst labāko modeli no režģa meklēšanas
• Izdara prognozes par testēšanas datiem, kas darbojas vislabākajā modelī
• Aprēķina modeļa precizitāti
• Drukā hiperparametrus, precizitāti un klasifikācijas atskaiti
• Reģistrē precizitāti un modeli MLflow

Koda fragments:

8. darbība: izpildiet programmu, izmantojot Python

Šeit ir izvade MLflow serverī:

Secinājums

MLflow režģa meklēšanas rīks automatizē pielāgošanu, rezultātu izsekošanu un hiperparametru modificēšanu mašīnmācīšanās modeļos. Tas palīdz noteikt ideālos hiperparametrus un nodrošina ticamus rezultātus, bet var būt skaitļošanas ziņā dārgi plašiem hiperparametru eksperimentiem.