PySpark SelectExpr()

Pyspark.sql.DataFrame.selectExpr()

Funkcija selectexpr() ņem kolonnas/izteiksmju kopu un atgriež DataFrame, pamatojoties uz norādītajām izteiksmēm/kolonnām. Šajā funkcijā var norādīt vairākas izteiksmes, kuras atdala ar komatu. Lai parādītu DataFrame, mēs varam izmantot show()/collect() funkcijas.

Sintakse:

Šeit pyspark_DataFrame_object ir ievades PySpark DataFrame.

1. scenārijs: atlasiet kolonnas

Šajā scenārijā mēs redzēsim, kā atlasīt konkrētas kolonnas no PySpark DataFrame, izmantojot funkciju selectExpr ().

Izmantotā izteiksme ir “esošā_kolonna kā jauns_nosaukums”. Šeit esošā_kolonna ir kolonnas nosaukums, kas atrodas DataFrame, un tas tiek parādīts kā new_name (Aliasing).

Piemērs:

Izveidojiet PySpark DataFrame ar nosaukumu “agri_df” ar 5 rindām un kolonnām. Iegūstiet kolonnas “Soil_status” un “Soil_Type” kā “STATUSS” un “TYPE”.

Izvade:

2. scenārijs: nosacījumu izteiksmju norādīšana

Šajā scenārijā mēs redzēsim, kā novērtēt nosacījumus funkcijā selectExpr ().

Izmantotā izteiksme ir “existing_column operator value”. Šeit esošā_kolonna ir kolonnas nosaukums, kas atrodas DataFrame, un mēs salīdzinām katru šīs kolonnas vērtību ar virkni/vērtību.

1. piemērs:

Pārbaudiet, vai valsts ir “ASV” vai nē. Šeit tiek izmantots operators vienāds (=).

Izvade:

2. piemērs:

Pārbaudiet, vai augsnes_veids ir NULL vai nav. NULL atslēgvārds pārbauda, ​​vai vērtība ir NULL vai nav. Ja tas ir nulle, tiek atgriezta patiesība. Pretējā gadījumā tiek atgriezta viltus. Pēdējā izteiksme ir “Soil_Type IS NULL”

Izvade:

3. scenārijs: izteiksmju novērtēšana

Šajā scenārijā mēs redzēsim, kā norādīt matemātiskās izteiksmes. Izmantotā izteiksme ir “esošā_kolonnas matemātiskā_izteiksme”.

Piemērs:

1. Parādiet faktisko kolonnu “Acres”.
2. Pievienojiet 100 kolonnai “Acres”.
3. No kolonnas “Acres” atņemiet 100.
4. Reiziniet 100 ar kolonnu “Acres”.
5. Sadaliet kolonnu “Acres” ar 100.

Izvade:

4. scenārijs: apkopoto funkciju lietošana

SUM(kolonnas_nosaukums) – Tas novērtē kopējo vērtību norādītajā kolonnā.

MEAN(kolonnas_nosaukums) – Tas novērtē vidējo vērtību norādītajā kolonnā.

MIN(kolonnas_nosaukums) – Tas atgriež minimālo elementu starp visiem elementiem norādītajā kolonnā.

MAX(kolonnas_nosaukums) – Tas atgriež maksimālo elementu starp visiem elementiem norādītajā kolonnā.

Piemērs:

1. Atrodiet kopējo, vidējo, skaitu, minimālo un maksimālo elementu 'Acres'.
2. Slejā “Soil_status” atrodiet minimālos un maksimālos elementus.

Izvade:

Secinājums

Mēs apspriedām par funkciju selectExpr (), kas ņem kolonnas/izteikumu kopas un atgriež DataFrame, pamatojoties uz norādītajām izteiksmēm/kolonnām. Kā daļu no tā mēs uzzinājām četrus galvenos scenārijus, kuros ir piemērojams selectExpr(). Šajā funkcijā var norādīt vairākas izteiksmes, kuras atdala ar komatu. Lai izmantotu funkciju selectExpr(), nav jāizveido PAGAIDU SKATS.