Ευχαριστούμε που στάλθηκε η αποσαφήνισή σας! Ένα μέλος της ομάδου μας θα επικοινωνήσει μαζί σας σύντομα.
Ευχαριστούμε για την εκδήλωση κράτησης! Ένας από τους συνεργάτες μας θα επικοινωνήσει μαζί σας σύντομα.
Εξέλιξη Κομματιού
Τμήμα 1: Εισαγωγή στο Hadoop
- Ιστορία του Hadoop, εννοιές
- οικογένεια εφαρμογών
- διανομές
- υψηλότερο επίπεδο αρχιτεκτονική
- μύθοι του Hadoop
- προκλήσεις του Hadoop
- υπολογιστικό / λογισμικό
- εργαστήριο : πρώτη ανατροφή από το Hadoop
Τμήμα 2: HDFS
- σχεδιασμός και αρχιτεκτονική
- εννοιές (Οριζόντια επέκταση, αντιγραφή, τοπικότητα δεδομένων, ευαισθητοποίηση πλακάς)
- δαιμόνια : Namenode, Secondary namenode, Data node
- επικοινωνίες / καρδιακές δυσφορίες
- ακεραιότητα δεδομένων
- κέλευση ανάγνωση / γραφή
- Namenode υψηλή διαθεσιμότητα (HA), Ομοσπονδία
- εργαστήρια : Αλληλεπίδραση με το HDFS
Τμήμα 3: Map Reduce
- εννοιές και αρχιτεκτονική
- δαιμόνια (MRV1) : jobtracker / tasktracker
- φάσεις : driver, mapper, shuffle/sort, reducer
- Map Reduce Έκδοση 1 και Έκδοση 2 (YARN)
- Εσωτερικές λεπτομέρειες του Map Reduce
- Εισαγωγή σε Java Map Reduce πρόγραμμα
- εργαστήρια : Εκτέλεση μιας δείγματος προγράμματος MapReduce
Τμήμα 4: Pig
- Pig vs Java Map Reduce
- Rροή εργασίας του Pig
- Γλώσσα Pig Latin
- ETL με το Pig
- Μετασχηματισμοί και Συνδέσεις (Joins)
- Προσαρμόσιμες συναρτήσεις (UDF)
- εργαστήρια : Σύνθεση σεναρίων Pig για την ανάλυση δεδομένων
Τμήμα 5: Hive
- αρχιτεκτονική και σχεδίαση
- τύποι δεδομένων
- Υποστήριξη SQL στο Hive
- Δημιουργία πινάκων Hive και ερωτήματα
- διαχωρισμοί (partitions)
- συνδέσεις (joins)
- επεξεργασία κειμένου
- εργαστήρια : Διάφορα εργαστήρια για την επεξεργασία δεδομένων με το Hive
Τμήμα 6: HBase
- εννοιές και αρχιτεκτονική
- HBase vs RDBMS vs Cassandra
- HBase Java API
- Χρονικά σημεία δεδομένων στο HBase
- σχεδίαση αυτοκλείδων (schema)
- εργαστήρια : Αλληλεπίδραση με το HBase χρησιμοποιώντας κενάκι, προγραμματισμός στη Java API του HBase; Άσκηση σχεδίασης αυτοκλείδων
Απαιτήσεις
- Είστε χαλαροί με τη γλώσσα προγραμματισμού Java (περισσότερα από τα εκπαιδευτικά άσκημα είναι σε Java)
- Είστε χαλαροί με το περιβάλλον Linux (πρέπει να είστε σε θέση να κινηθείτε στη γραμμή εντολών του Linux, να επεξεργάζεστε αρχεία χρησιμοποιώντας vi / nano)
Εργαστήριο περιβάλλον
Zero Install : Δεν χρειάζεται να εγκατασταθεί λογισμικό Hadoop στους υπολογιστές των μαθητών! Θα παρέχεται ένα εργαστήριο Hadoop για τους μαθητές.
Οι μαθητές χρειάζονται τα εξής
- ένα πελάτης SSH (Linux και Mac έχουν ήδη πελάτες ssh, για το Windows συστερείται το Putty)
- ένα πρόγραμμα περιήγησης για να πρόσφερουν πρόσβαση στο εργαστήριο, προτείνεται το Firefox
28 Ώρες
Σχόλια (1)
Χειροποίητα άσκηση. Η τάξη θα έπρεπε να διαρκέσει 5 ημέρες, αλλά και τις 3 ημέρες βοήθησαν σημαντικά να διευκρινίσω πολλά ερωτήματα που είχα από την εργασία μου με το NiFi.
James - BHG Financial
Κομμάτι - Apache NiFi for Administrators
Μηχανική Μετάφραση
