PySpark DataFrame konvertēšana uz JSON

Satura tēma:

• PySpark DataFrame uz JSON, izmantojot To_json() ar ToPandas()
• PySpark DataFrame uz JSON, izmantojot ToJSON()
• PySpark DataFrame uz JSON, izmantojot Write.json()

Visos piemēros aplūkosim vienkāršu PySpark DataFrame un pārveidosim to par JSON, izmantojot minētās funkcijas.

Nepieciešamais modulis:

Instalējiet PySpark bibliotēku savā vidē, ja tā vēl nav instalēta. Lai to instalētu, varat atsaukties uz šo komandu:

PySpark DataFrame uz JSON, izmantojot To_json() ar ToPandas()

Metode to_json() ir pieejama Pandas modulī, kas pārvērš Pandas DataFrame par JSON. Mēs varam izmantot šo metodi, ja mēs pārvēršam savu PySpark DataFrame par Pandas DataFrame. Lai PySpark DataFrame pārveidotu par Pandas DataFrame, tiek izmantota metode toPandas(). Apskatīsim to_json () sintaksi kopā ar tā parametriem.

Sintakse:

1. Orient tiek izmantots, lai parādītu konvertēto JSON kā vēlamo formātu. Tas aizņem 'ierakstus', 'tabula', 'vērtības', 'kolonnas', 'indekss', 'sadalīts'.
2. Indekss tiek izmantots, lai iekļautu/noņemtu indeksu no konvertētās JSON virknes. Ja tas ir iestatīts uz “True”, tiek parādīti indeksi. Pretējā gadījumā indeksi netiks parādīti, ja orientācija ir “sadalīta” vai “tabula”.

1. piemērs: orientējieties kā “ieraksti”

Izveidojiet “skills_df” PySpark DataFrame ar 3 rindām un 4 kolonnām. Konvertējiet šo DataFrame uz JSON, norādot orientācijas parametru kā “records”.

Izvade:

Mēs redzam, ka PySpark DataFrame tiek pārveidots par JSON masīvu ar vērtību vārdnīcu. Šeit atslēgas apzīmē kolonnas nosaukumu, un vērtība apzīmē rindas/šūnas vērtību PySpark DataFrame.

2. piemērs: orientējieties kā “Sadalīts”

JSON formātā, ko atgriež “sadalītā” orientācija, ir iekļauti kolonnu nosaukumi, kuriem ir kolonnu saraksts, indeksu saraksts un datu saraksts. Tālāk ir norādīts “sadalītās” orientācijas formāts.

Izvade:

3. piemērs: orientējieties kā 'indekss'

Šeit katra rinda no PySpark DataFrame tiek izņemta vārdnīcas veidā ar atslēgu kā kolonnas nosaukumu. Katrai vārdnīcai rādītāja pozīcija ir norādīta kā atslēga.

Izvade:

4. piemērs: orientējieties kā 'kolonnas'

Kolonnas ir katra ieraksta atslēga. Katrā kolonnā ir vārdnīca, kurā tiek ņemtas kolonnu vērtības ar indeksu numuriem.

Izvade:

5. piemērs: orientējieties kā “vērtības”

Ja jums ir nepieciešamas tikai JSON vērtības, varat izvēlēties “vērtību” orientāciju. Tas parāda katru rindu sarakstā. Visbeidzot, visi saraksti tiek saglabāti sarakstā. Šis JSON ir ligzdotā saraksta veids.

Izvade:

6. piemērs: orientējieties kā “tabula”

“Tabulas” orientācija atgriež JSON, kas ietver shēmu ar lauku nosaukumiem, kā arī kolonnu datu tipiem, indeksu kā primāro atslēgu un Pandas versiju. Kolonnu nosaukumi ar vērtībām tiek parādīti kā “dati”.

Izvade:

7. piemērs: ar indeksa parametru

Pirmkārt, mēs nododam indeksa parametru, iestatot to uz “True”. Katrai kolonnas vērtībai redzēsit, ka indeksa pozīcija tiek atgriezta kā atslēga vārdnīcā.

Otrajā izvadē tiek atgriezti tikai kolonnu nosaukumi (“kolonnas”) un ieraksti (“dati”) bez indeksa pozīcijām, jo ​​indekss ir iestatīts uz “False”.

Izvade:

PySpark DataFrame uz JSON, izmantojot ToJSON()

Metode toJSON() tiek izmantota, lai PySpark DataFrame pārveidotu par JSON objektu. Būtībā tas atgriež JSON virkni, kuru ieskauj saraksts. The ['{column:value,…}',…. ] ir formāts, ko atgriež šī funkcija. Šeit katra rinda no PySpark DataFrame tiek atgriezta kā vārdnīca ar kolonnas nosaukumu kā atslēgu.

Sintakse:

Var būt iespējams nodot tādus parametrus kā indekss, kolonnu etiķetes un datu tips.

Piemērs:

Izveidojiet “skills_df” PySpark DataFrame ar 5 rindām un 4 kolonnām. Konvertējiet šo DataFrame uz JSON, izmantojot metodi toJSON().

Izvade:

PySpark DataFrame ir 5 rindas. Visas šīs 5 rindas tiek atgrieztas kā virkņu vārdnīca, kas ir atdalīta ar komatu.

PySpark DataFrame uz JSON, izmantojot Write.json()

Pakalpojumā PySpark ir pieejama metode write.json(), kas raksta/saglabā PySpark DataFrame JSON failā. Tas izmanto faila nosaukumu/ceļu kā parametru. Būtībā tas atgriež JSON vairākos failos (sadalītajos failos). Lai tos visus apvienotu vienā failā, mēs varam izmantot coalesce() metodi.

Sintakse:

1. Pievienošanas režīms - dataframe_object.write.mode('pievienot').json('faila_nosaukums')
2. Pārrakstīšanas režīms - dataframe_object.write.mode('pārrakstīt').json('faila_nosaukums')

Var būt iespējams pievienot/pārrakstīt esošo JSON. Izmantojot write.mode(), mēs varam pievienot datus, nododot “append”, vai pārrakstīt esošos JSON datus, nododot šai funkcijai “overwrite”.

1. piemērs:

Izveidojiet “skills_df” PySpark DataFrame ar 3 rindām un 4 kolonnām. Ierakstiet šo DataFrame JSON.

JSON fails:

Mēs redzam, ka mapē skill_data ir ietverti sadalītie JSON dati.

Atvērsim JSON failu. Mēs redzam, ka visas PySpark DataFrame rindas tiek pārveidotas par JSON.

PySpark DataFrame ir 5 rindas. Visas šīs 5 rindas tiek atgrieztas kā virkņu vārdnīca, kas ir atdalīta ar komatu.

2. piemērs:

Izveidojiet “skills2_df” PySpark DataFrame ar vienu rindu. Pievienojiet vienu rindu iepriekšējam JSON failam, norādot režīmu kā “pievienot”.

JSON fails:

Mēs varam redzēt sadalītos JSON failus. Pirmajā failā ir pirmie DataFrame ieraksti, bet otrajā failā ir otrais DataFrame ieraksts.

Secinājums

Ir trīs dažādi veidi, kā pārvērst PySpark DataFrame par JSON. Pirmkārt, mēs apspriedām metodi to_json (), kas pārveido par JSON, pārvēršot PySpark DataFrame par Pandas DataFrame ar dažādiem piemēriem, ņemot vērā dažādus parametrus. Tālāk mēs izmantojām toJSON () metodi. Visbeidzot, mēs uzzinājām, kā izmantot funkciju write.json(), lai PySpark DataFrame rakstītu JSON. Ar šo funkciju ir iespējama pievienošana un pārrakstīšana.