Šajā rokasgrāmatā ir izskaidroti AWS rāpuļprogrammu saraksti.
Kas ir AWS sarakstu rāpuļprogrammas?
Rāpuļprogramma ir AWS līmes sastāvdaļa, ko izmanto, lai pārmeklētu datu atrašanās vietu un izsecinātu šo informāciju atpakaļ katalogā. Informācija, ko rāpuļprogramma apkopo, var būt datu tipi, shēmas struktūra vai, citiem vārdiem sakot, tā apkopo metadatus. Rāpuļprogrammu var izmantot arī ar datu katalogu, kas tiek izmantots, kad dati tiek pārvietoti Glue ekosistēmā, vienlaikus izmantojot ETL darbus utt.
Kas ir Amazon Glue Service?
AWS Glue ir Amazon Extract Transform and Load pakalpojums, kas ļauj lietotājam sakārtot, atrast, pārvietot un pārveidot visus datus. AWS Glue ir bez servera, jo lietotājam nav jānodrošina un jākonfigurē serveri vai jāpārvalda dzīves cikli. Datu katalogs un rāpuļprogrammas ir AWS Glue komponenti, kas darbojas kā pastāvīga metadatu krātuve:
Kā izveidot rāpuļprogrammu AWS?
Lai izveidotu rāpuļprogrammu AWS, apmeklējiet pakalpojumu AWS Glue no AWS pārvaldības konsoles:
Dodieties uz ' Rāpuļprogrammas ” lapa, noklikšķinot uz tās nosaukuma kreisajā panelī:
Noklikšķiniet uz ' Izveidojiet rāpuļprogrammu ” poga:
Ierakstiet rāpuļprogrammas nosaukumu un noklikšķiniet uz ' Nākamais ” poga:
Izvēlieties līmēšanas tabulu kartēšanas opciju un noklikšķiniet uz ' Pievienojiet avotu ” pogu, lai iegūtu datus no:
Izvēlieties S3 pakalpojumu un noklikšķiniet uz ' Pārlūkojiet S3 ” pogu, lai iegūtu avota atrašanās vietu:
Vienkārši atlasiet mapi S3 un noklikšķiniet uz ' Izvēlieties ” poga:
Kad atrašanās vieta ir pievienota avotam, vienkārši noklikšķiniet uz “ Pievienojiet S3 datu avotu ” poga:
Noklikšķiniet uz ' Nākamais ” poga:
Noklikšķiniet uz ' Izveidojiet jaunu IAM lomu ' pogu no ' Konfigurējiet drošības iestatījumus ” sadaļa:
Ievadiet lomas nosaukumu un noklikšķiniet uz ' Izveidot ” poga:
Pēc tam vienkārši noklikšķiniet uz ' Nākamais ” poga:
Atlasiet mērķa datu bāzi un ierakstiet nosaukumu, kas tiks izmantots tabulai:
Ieplānojiet rāpuļprogrammu “ Pēc pieprasījuma un noklikšķiniet uz ' Nākamais ” poga:
Pārskatiet konfigurāciju un noklikšķiniet uz ' Izveidojiet rāpuļprogrammu ” poga:
Rāpuļprogramma ir veiksmīgi izveidota, un to var izmantot, lai izgūtu datus no avota, noklikšķinot uz ' Skrien ” poga:
Tas viss attiecas uz AWS sarakstu rāpuļprogrammām.
Secinājums
ListCrawler ir pakalpojuma AWS Glue sastāvdaļa, ko var izmantot, lai pārmeklētu informāciju no avotiem un atgrieztos katalogā. Datu katalogus un rāpuļprogrammas var izmantot, lai vāktu datus, lai iegūtu informāciju par datiem, kas ir pazīstami kā metadati. Lietotājs var arī izveidot rāpuļprogrammu no AWS Glue, lai iegūtu datus no S3 pakalpojuma vai citiem avotiem un datubāzē ievietotu izveides tabulas. Šajā rokasgrāmatā ir izskaidroti AWS ListCrawlers un to izveide.