Datu mitināšana un pārvaldība datubāzēs un datu noliktavās vienmēr ir bijis drudžains un apgrūtinošs uzdevums. Lai izprastu datus, ir nepieciešami daudz resursu un skaitļošanas jaudas. Šim nolūkam Amazon Web Services ir vienas pieturas risinājums. Tam ir pakalpojums Amazon Redshift, kas pilnībā pārvalda lietotāju datu noliktavas.
Šajā rakstā tiks detalizēti izskaidrots Amazon Redshift, kā arī tās datu noliktavas arhitektūra. Tiks detalizēti izskaidroti visi Redshift datu noliktavas sistēmas arhitektūras komponenti.
Kas ir Amazon Redshift?
IT ir datu noliktavas pakalpojums, ko nodrošina Amazon. Tas efektīvi pārvalda un analizē lielas datu kopas analīzei un pārskatu veidošanai. Tas ir veidots uz kolonnu uzglabāšanas modeļa. Tas izmanto skaitļošanas mezglu kopas, ko kontrolē vadošais mezgls, lai nodrošinātu augstas veiktspējas datu apstrādi.
Tas ņem datus no dažādiem avotiem un apvieno tos, lai izveidotu datu noliktavu. Tā piedāvā dažādas funkcijas, piemēram, datu koplietošanu un reāllaika analīzi. Lai izprastu Amazon Redshift funkcijas un iespējas, skatiet tālāk redzamo attēlu:
Tagad pāriesim pie tās datu noliktavas sistēmas arhitektūras.
Kas ir Amazon Redshift datu noliktavas sistēmas arhitektūra?
Šai sistēmas arhitektūrai ir trīs galvenās daļas. Šīs daļas ir:
- Uzglabāšana
- Paātrinājums
- Aprēķins
Ļaujiet mums saprast viņu mērķus:
Uzglabāšana
Krātuves daļa attiecas uz Redshift piedāvātajiem uzglabāšanas pakalpojumiem. Tam ir sava pārvaldītā krātuves pakalpojuma opcija, kā arī S3 kausa opcija.
Paātrinājums
Paātrinājuma daļa ir atkarīga no izmantotā uzglabāšanas pakalpojuma un izmantotās skaitļošanas jaudas. Redshift pārvaldītā krātuve ir ātrāka, salīdzinot ar citām krātuves opcijām
Aprēķins
Aprēķinu daļa pilnībā attiecas uz izmantoto skaitļošanas jaudu. Aprēķins tiek veikts ar klasteriem, un klasteriem ir mezgli. Savukārt mezgliem ir šķēles.
Lai labāk izprastu visus šīs arhitektūras elementus un komponentus, skatiet tālāk redzamo attēlu:
Ļaujiet mums saprast tās sastāvdaļas pa vienam.
Kādas ir Amazon Redshift arhitektūras sastāvdaļas?
Tālāk ir norādīti Amazon Redshift arhitektūras komponenti:
- Kopas
- Mezgli
- Mezglu šķēles
- Uzglabāšana
- Iekšējais tīkls
- Datu bāzes
Apspriedīsim tos pa vienam:
Kopas
Klasteris ir pamatvienība un galvenā vienība. Tas ietver vairākus mezglus. Ja klasteris sastāv no vairākiem skaitļošanas mezgliem, papildu vadošais mezgls iesaistās, lai koordinētu šo aprēķina mezglu darbības un pārvaldītu ārējo komunikāciju.
Mezgli
Mezgli klasteros ir divu veidu. Šie ir:
- Līdera mezgls
- Aprēķināšanas mezgls
Ļaujiet mums saprast šos vienumus:
Līdera mezgls
Tas pārvalda saziņu ar klientu programmām un koordinē mijiedarbību ar skaitļošanas mezgliem. Līdera mezglam ir būtiska loma sarežģītu vaicājumu izpildē. Tā apkopo kodu, pamatojoties uz izpildes plānu, kas tiek izplatīts skaitļošanas mezgliem, un piešķir datu daļas katram atsevišķam skaitļošanas mezglam.
Aprēķināšanas mezgls
Aprēķinu mezgli ir Amazon Redshift arhitektūras mugurkauls. Viņi veic gan datu uzglabāšanu, gan apstrādi. Tiem ir īpaši resursi, piemēram, atmiņa un centrālais procesors.
Mezglu šķēles
Aprēķinu mezgli tiek sadalīti šķēlēs. Šīs sadaļas darbojas kopā, lai apstrādātu piešķirtās darba slodzes un panāktu paralēlismu, lai uzlabotu vaicājumu apstrādi.
Uzglabāšana
Datu glabāšanu Amazon Redshift pārvalda “Redshift Managed Storage (RMS)”. Tam ir iespēja neatkarīgi palielināt krātuvi, izmantojot “Amazon S3” krātuvi. RMS izmanto augstas veiktspējas SSD vietējo krātuvi kā 1. līmeņa kešatmiņu, kas optimizē veiktspēju.
Iekšējais tīkls
Šis Amazon Redshift iekšējais tīkls palīdz ātri un droši sazināties starp vadošajiem mezgliem un skaitļošanas mezgliem. Šis tīkls nav tieši pieejams klientu lietojumprogrammām.
Datu bāzes
Klasteriem ir viena vai vairākas datu bāzes. Dati no šīm datu bāzēm atrodas skaitļošanas mezglos. Klientu lietojumprogrammas sazinās ar vadošo mezglu. Aprēķinu mezgls pārvalda vaicājumu izpildi skaitļošanas mezglos.
Tas viss attiecas uz Amazon Redshift un tā arhitektūras elementiem. Šajā rakstā ir vispusīgi izskaidroti Amazon Redshift darba komponenti
Secinājums
Amazon Redshift arhitektūra ir iemesls, uz kura balstās tās iespējas. Vadošais mezgls kontrolē un pārvalda aprēķina mezglus un mezglu šķēles palīdz paralēlā apstrādē. Redshift Managed Storage izmanto uz SSD balstītu krātuvi, lai uzlabotu veiktspēju. Šajā rakstā ir izskaidrota Amazon Redshift datu noliktavas sistēmas arhitektūra.