Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
Ενότητα 1. Εισαγωγή στο Hadoop
- Το Hadoop Κατανεμημένο Σύστημα Αρχείων (HDFS) Η Διαδρομή ανάγνωσης και η Διαδρομή Εγγραφής Διαχείριση Μεταδεδομένων Συστήματος Αρχείων Ο Ονομασίας και ο Κόμβος Δεδομένων Η Ομοσπονδία Ονοματοδοσίας Υψηλής Διαθεσιμότητας Namenode Τα Εργαλεία Γραμμής Εντολών Κατανόηση Υποστήριξη REST
Ενότητα 2. Εισαγωγή στο MapReduce
- Ανάλυση των δεδομένων με το Hadoop Map and Reduce Pattern Java MapReduce Scaling Out Scaling Flow Development Functions Combiner Running a Distributed MapReduce Job
Ενότητα 3. Σχεδιασμός Hadoop Cluster
- Επιλογή διανομής και έκδοσης Hadoop εκδόσεων και δυνατοτήτων Επιλογή υλικού Master and Worker Επιλογή υλικού Συστάδα μεγέθους Επιλογή λειτουργικού συστήματος και προετοιμασία Διάταξη ανάπτυξης Ρύθμιση χρηστών, ομάδων και προνομίων Διαμόρφωση δίσκου Σχεδιασμός δικτύου
Ενότητα 4. Εγκατάσταση και διαμόρφωση
- Εγκατάσταση ρύθμισης παραμέτρων Hadoop: Μια επισκόπηση του Hadoop XML Αρχεία διαμόρφωσης Περιβάλλον μεταβλητές και σενάρια κελύφους Διαμόρφωση καταγραφής Διαχείριση βελτιστοποίησης HDFS και συντονισμός Μορφοποίηση της ονομασίας Δημιουργία καταλόγου /tmp Σκέψης ονομασίας Υψηλή διαθεσιμότητα Επιλογές περίφραξης Αυτόματη ρύθμιση παραμέτρων για αποτυχία και ρύθμιση παραμέτρων
Ενότητα 5. Κατανόηση Hadoop I/O
- Ακεραιότητα δεδομένων στο HDFS Κατανόηση συμπίεσης κωδικοποιητών και διαχωρισμών εισόδου με χρήση συμπίεσης στον χάρτηΜείωση του μηχανισμού σειριοποίησης Δομές δεδομένων βάσει αρχείων Η μορφή αρχείου Sequence Άλλες μορφές αρχείων και μορφές προσανατολισμένες στη στήλη
Ενότητα 6. Ανάπτυξη μιας εφαρμογής MapReduce
- Το Configuration API Ρύθμιση του περιβάλλοντος ανάπτυξης Διαχείριση διαμόρφωσης GenericOptionsParser, Tool, and ToolRunner Γράψιμο μιας δοκιμής μονάδας με MRUnit The Mapper και Reducer που εκτελούνται τοπικά σε δεδομένα δοκιμής Δοκιμή του προγράμματος οδήγησης που εκτελείται σε συσκευασίες συμπλέγματος και εκκινεί μια εργασία Το Map TuningReduce Web
Ενότητα 7. Ταυτότητα, έλεγχος ταυτότητας και εξουσιοδότηση
- Διαχείριση ταυτότητας Kerberos και Hadoop Κατανόηση της εξουσιοδότησης
Ενότητα 8. Πηγή Management
- Τι είναι ο πόρος Management; HDFS Quotas MapReduce Schedulers Ανατομία ενός YARN Application Run Resource Requests Διάρκεια ζωής εφαρμογής YARN σε σύγκριση με MapReduce 1 Προγραμματισμός στο YARN Scheduler Options Χωρητικότητα Scheduler Configuration Fair Scheduler Configuration Resource Delay Scheduling Domin
Ενότητα 9. Τύποι και μορφές MapReduce
- Τύποι MapReduce Η προεπιλεγμένη εργασία MapReduce Καθορισμός των μορφών εισόδου Διαχείριση διαχωρισμών εισόδου και εγγραφών Εισαγωγή κειμένου και δυαδική είσοδο Διαχείριση πολλαπλών εισόδων Database Μορφές εισόδου (και εξόδου) Εξόδου κειμένου και δυαδικής εξόδου Διαχείριση πολλαπλών εξόδων της Database εξόδου
Ενότητα 10. Χρήση των δυνατοτήτων MapReduce
- Χρήση μετρητών Ανάγνωση ενσωματωμένων μετρητών Καθορισμένοι από το χρήστη Java Μετρητές Κατανόηση ταξινόμησης με χρήση της κατανεμημένης κρυφής μνήμης
Ενότητα 11. Συντήρηση συμπλέγματος και αντιμετώπιση προβλημάτων
- Διαχείριση Hadoop Διεργασιών Έναρξη και διακοπή διεργασιών με σενάρια Init Έναρξη και διακοπή διεργασιών Μη αυτόματα Εργασίες συντήρησης HDFS Προσθήκη κόμβου Παροπλισμός δεδομένων κόμβου Έλεγχος ακεραιότητας συστήματος αρχείων με fsck Εξισορρόπηση Αποκλεισμός δεδομένων HDFS Αντιμετώπιση αποτυχημένου δίσκου MapReducs Maintenance a Διαχείριση εργασιών Εξάντληση πόρων
Ενότητα 12. Παρακολούθηση
- Οι διαθέσιμες Hadoop μετρήσεις Ο ρόλος της παρακολούθησης υγείας SNMP Έλεγχοι επιπέδου κεντρικού υπολογιστή Έλεγχοι HDFS ΧάρτηςΜείωση ελέγχων
Ενότητα 13. Δημιουργία αντιγράφων ασφαλείας και ανάκτηση
- Κατανεμημένο αντίγραφο αντιγράφων ασφαλείας δεδομένων (distcp) Παράλληλη απορρόφηση δεδομένων Μεταδεδομένα ονομασίας
21 Hours
Testimonials (1)
The fact that all the data and software was ready to use on an already prepared VM, provided by the trainer in external disks.
