Datu normalizēšana ir metode, kas palīdz ātrāk iegūt rezultātu, jo iekārtai ir jāapstrādā mazāks datu klāsts. Normalizācija nav viegls uzdevums, jo visi jūsu rezultāti ir atkarīgi no jūsu normalizācijas metodes izvēles. Tātad, ja esat izvēlējies nepareizu metodi datu normalizēšanai, iespējams, iegūsit kaut ko citu, nekā gaidījāt.
Normalizācija ir atkarīga arī no datu veida, piemēram, attēliem, teksta, cipariem utt. Tātad katram datu tipam ir atšķirīga normalizācijas metode. Tātad šajā rakstā mēs koncentrējamies uz skaitliskiem datiem.
1. metode: izmantojot sklearn
Sklearn metode ir ļoti slavena metode datu normalizēšanai.
Šūnas numurā [83] : Mēs importējam visas nepieciešamās bibliotēkas, NumPy un sklearn. Jūs varat redzēt, ka mēs importējam priekšapstrādi no pašas sklearn. Tāpēc šī ir sklearn normalizācijas metode.
Šūnas numurā [84] : Mēs izveidojām NumPy masīvu ar kādu veselu skaitļu vērtību, kas nav vienāda.
Šūnas numurā [85] : Mēs no priekšapstrādes izsaucām normalizācijas metodi un nodevām numpy_array, ko tikko izveidojām kā parametru.
Šūnas numurā [86] : No rezultātiem var redzēt, ka visi mūsu veseli skaitļi tagad ir normalizēti no 0 līdz 1.
2. metode: normalizējiet noteiktu datu kopas kolonnu, izmantojot sklearn
Mēs varam arī normalizēt konkrēto datu kopas kolonnu. Šajā sakarā mēs par to diskutēsim.
Šūnas numurā [87] : Mēs importējam bibliotēkas pandas un mācāmies.
Šūnas numurā [88] : Mēs izveidojām fiktīvu CSV failu, un tagad mēs ielādējam šo CSV failu, izmantojot pandas (read_csv) pakotni.
Šūnas numurā [89] : Mēs drukājam nesen ielādēto CSV failu.
Šūnas numurā [90] : Mēs lasām konkrēto CSV faila kolonnu, izmantojot np. masīvs un saglabājiet rezultātu value_array.
Šūnas numurā [92] , mēs no priekšapstrādes izsaucām normalizācijas metodi un nodevām parametru value_array.
3. metode: konvertējiet, lai normalizētu, neizmantojot kolonnas masīvam (izmantojot sklearn)
Iepriekšējā 2. metodē mēs apspriedām, kā normalizēt konkrētu CSV faila kolonnu. Bet dažreiz mums ir jā normalizē visa datu kopa, tad mēs varam izmantot tālāk norādīto metodi, kur mēs normalizējam visu datu kopu, bet pa kolonnām (ass = 0). Ja mēs pieminēsim asi = 1, tad tas normalizēsies pa rindām. Asis = 1 pēc noklusējuma.
Šūnas numurā [93] : Mēs importējam bibliotēkas pandas un mācāmies.
Šūnas numurā [94] : Mēs izveidojām fiktīvu CSV failu (demo_numeric.csv), un tagad mēs ielādējam šo CSV failu, izmantojot pandas (read_csv) pakotni.
Šūnas numurā [95] : Mēs drukājam nesen ielādēto CSV failu.
Šūnas numurā [96] : Tagad mēs nododam visu CSV failu kopā ar vēl vienu papildu parametru asi = 0, kas bibliotēkai teica, ka lietotājs vēlas normalizēt visu datu kopu kolonnu ziņā.
Šūnas numurā [97] , mēs izdrukājam rezultātu un normalizējam datus ar vērtību no 0 līdz 1.
4. metode: izmantojot MinMaxScaler ()
Sklearn nodrošina arī citu normalizācijas metodi, ko mēs saucām par MinMaxScalar. Šī ir arī ļoti populāra metode, jo to ir viegli lietot.
Šūnas numurā [98] : Mēs importējam visus nepieciešamos iepakojumus.
Šūnas numurā [99] : Mēs izveidojām fiktīvu CSV failu (demo_numeric.csv), un tagad mēs ielādējam šo CSV failu, izmantojot pandas (read_csv) pakotni.
Šūnas numurā [100] : Mēs drukājam nesen ielādēto CSV failu.
Šūnas numurā [101] : Mēs izsaucām MinMaxScalar no priekšapstrādes metodes un izveidojām tam objektu (min_max_Scalar). Mēs neizdevām nevienu parametru, jo mums ir nepieciešams normalizēt datus no 0 līdz 1. Bet, ja vēlaties, varat pievienot savas vērtības, kuras būs redzamas nākamajā metodē.
Šūnas numurā [102] : Vispirms mēs nolasām visus kolonnu nosaukumus, lai tos turpmāk izmantotu rezultātu parādīšanai. Tad mēs izsaucam fit_tranform no izveidotā objekta min_max_Scalar un nododam tajā CSV failu.
Šūnas numurā [103] : Mēs iegūstam normalizētus rezultātus, kas ir no 0 līdz 1.
5. metode: MinMaxScaler izmantošana (feature_range = (x, y))
Sklearn piedāvā arī iespēju mainīt vēlamās vērtības normalizēto vērtību. Pēc noklusējuma tie normalizē vērtību no 0 līdz 1. Bet ir parametrs, ko mēs saucām par feature_range, kas var iestatīt normalizēto vērtību atbilstoši mūsu prasībām.
Šūnas numurā [104] : Mēs importējam visus nepieciešamos iepakojumus.
Šūnas numurā [105] : Mēs izveidojām fiktīvu CSV failu (demo_numeric.csv), un tagad mēs ielādējam šo CSV failu, izmantojot pandas (read_csv) pakotni.
Šūnas numurā [106] : Mēs drukājam nesen ielādēto CSV failu.
Šūnas numurā [107] : Mēs izsaucām MinMaxScalar no priekšapstrādes metodes un izveidojām tam objektu (min_max_Scalar). Bet mēs arī nododam citu parametru MinMaxScaler (feature_range). Šo parametra vērtību mēs iestatījām no 0 līdz 2. Tātad tagad MinMaxScaler normalizēs datu vērtības no 0 līdz 2.
Šūnas numurā [108] : Vispirms mēs nolasām visus kolonnu nosaukumus, lai tos turpmāk izmantotu rezultātu parādīšanai. Tad mēs izsaucam fit_tranform no izveidotā objekta min_max_Scalar un nododam tajā CSV failu.
Šūnas numurā [109] : Mēs iegūstam normalizētus rezultātus, kas ir no 0 līdz 2.
6. metode: izmantojot maksimālo absolūto mērogošanu
Mēs varam arī normalizēt datus, izmantojot pandas. Šīs funkcijas ir arī ļoti populāras datu normalizēšanā. Maksimālā absolūtā mērogošana normalizē vērtības no 0 līdz 1. Mēs šeit lietojam .max () un .abs (), kā parādīts zemāk:
Šūnas numurā [110] : Mēs importējam pandu bibliotēku.
Šūnas numurā [111] : Mēs izveidojām fiktīvu datu rāmi un izdrukājām šo datu rāmi.
Šūnas numurā [113] : Mēs izsaucam katru kolonnu un pēc tam sadalām kolonnu vērtības ar .max () un .abs ().
Šūnas numurā [114] : Mēs izdrukājam rezultātu un no rezultāta apstiprinām, ka mūsu dati normalizējas no 0 līdz 1.
7. metode: izmantojot z-score metodi
Nākamā metode, kuru mēs apspriedīsim, ir z-score metode. Šī metode pārveido informāciju izplatīšanai. Šī metode aprēķina katras kolonnas vidējo vērtību, pēc tam atņem no katras kolonnas un, visbeidzot, sadala to ar standarta novirzi. Tas normalizē datus no -1 līdz 1.
Šūnas numurā [115] : Mēs izveidojām fiktīvu datu rāmi un izdrukājām šo datu rāmi.
Šūnas numurā [117] : Mēs aprēķinām kolonnas vidējo vērtību un atņemam to no kolonnas. Tad mēs sadalām kolonnas vērtību ar standarta novirzi.
Šūnas numurā [118] : Mēs izdrukājam normalizētos datus no -1 līdz 1.
Secinājums: Mēs esam redzējuši dažāda veida normalizētas metodes. Starp tiem sklearn ir ļoti slavens, jo atbalsta mašīnmācīšanos. Bet tas ir atkarīgs no lietotāja prasībām. Dažreiz pietiek ar pandu funkciju datu normalizēšanai. Mēs nevaram teikt, ka pastāv tikai virs normalizācijas metodes. Ir daudzas metodes datu normalizēšanai, kas ir atkarīgas arī no jūsu datu veida, piemēram, attēli, cipari, teksts utt. Mēs koncentrējamies uz šiem skaitliskajiem datiem un Python.