Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Course Outline
- Εισαγωγή
- Hadoop ιστορία, έννοιες
- Οικοσύστημα
- Διανομές
- Αρχιτεκτονική υψηλού επιπέδου
- Hadoop μύθοι
- Hadoop προκλήσεις (υλισμικό / λογισμικό)
- Εργαστήρια: συζητήστε τα Big Data έργα και τα προβλήματά σας
- Σχεδιασμός και εγκατάσταση
- Επιλογή λογισμικού, Hadoop διανομές
- Διαστασιολόγηση του συμπλέγματος, προγραμματισμός ανάπτυξης
- Επιλογή υλικού και δικτύου
- Τοπολογία ραφιών
- Εγκατάσταση
- Πολυενοικίαση
- Δομή καταλόγου, αρχεία καταγραφής
- Βαθμολόγηση επιδόσεων
- Εργαστήρια: εγκατάσταση συμπλέγματος, εκτέλεση σημείων αναφοράς απόδοσης
- Λειτουργίες HDFS
- Έννοιες (οριζόντια κλιμάκωση, αναπαραγωγή, εντοπιότητα δεδομένων, επίγνωση rack)
- Κόμβοι και δαίμονες (NameNode, Secondary NameNode, HA Standby NameNode, DataNode)
- Παρακολούθηση υγείας
- Διαχείριση βάσει γραμμής εντολών και προγράμματος περιήγησης
- Προσθήκη χώρου αποθήκευσης, αντικατάσταση ελαττωματικών δίσκων
- Εργαστήρια: εξοικείωση με τις γραμμές εντολών HDFS
- Απορρόφηση δεδομένων
- Flume για αρχεία καταγραφής και άλλα δεδομένα απορρόφησης στο HDFS
- Sqoop για εισαγωγή από SQL βάσεις δεδομένων στο HDFS, καθώς και για εξαγωγή πίσω στο SQL
- Hadoop αποθήκευση δεδομένων με Hive
- Αντιγραφή δεδομένων μεταξύ συμπλεγμάτων (distcp)
- Χρησιμοποιώντας το S3 ως συμπληρωματικό του HDFS
- Βέλτιστες πρακτικές και αρχιτεκτονικές απορρόφησης δεδομένων
- Labs: ρύθμιση και χρήση του Flume, το ίδιο και για το Sqoop
- MapReduce λειτουργίες και διαχείριση
- Παράλληλος υπολογισμός πριν από τη μείωση του χάρτη: συγκρίνετε τη χορήγηση HPC έναντι Hadoop
- MapΜειώστε τα φορτία συμπλέγματος
- Κόμβοι και Δαίμονες (JobTracker, TaskTracker)
- Περιήγηση στο MapReduce UI
- Διαμόρφωση Mapreduce
- Διαμόρφωση εργασίας
- Βελτιστοποίηση MapReduce
- Απαγορευτικό MR: τι να πείτε στους προγραμματιστές σας
- Labs: εκτέλεση παραδειγμάτων MapReduce
- ΝΗΜΑ: νέα αρχιτεκτονική και νέες δυνατότητες
- Στόχοι σχεδιασμού ΝΗΜΑΤΩΝ και αρχιτεκτονική υλοποίησης
- Νέοι ηθοποιοί: ResourceManager, NodeManager, Application Master
- Εγκατάσταση ΝΗΜΑΤΟΣ
- Προγραμματισμός εργασιών στο πλαίσιο του YARN
- Εργαστήρια: διερεύνησε τον προγραμματισμό εργασιών
- Προχωρημένα θέματα
- Παρακολούθηση υλικού
- Παρακολούθηση συμπλέγματος
- Προσθήκη και αφαίρεση διακομιστών, αναβάθμιση Hadoop
- Δημιουργία αντιγράφων ασφαλείας, ανάκτηση και σχεδιασμός επιχειρηματικής συνέχειας
- Oozie ροές εργασιών
- Hadoop υψηλή διαθεσιμότητα (HA)
- Hadoop Ομοσπονδία
- Εξασφάλιση του συμπλέγματός σας με Kerberos
- Εργαστήρια: ρύθμιση παρακολούθησης
- Προαιρετικά κομμάτια
- Cloudera Manager για διαχείριση συμπλέγματος, παρακολούθηση και εργασίες ρουτίνας. εγκατάσταση, χρήση. Σε αυτό το κομμάτι, όλες οι ασκήσεις και τα εργαστήρια εκτελούνται εντός του περιβάλλοντος διανομής Cloudera (CDH5)
- Ambari για διαχείριση συστάδων, παρακολούθηση και εργασίες ρουτίνας. εγκατάσταση, χρήση. Σε αυτό το κομμάτι, όλες οι ασκήσεις και τα εργαστήρια εκτελούνται στο πλαίσιο του διαχειριστή συστάδων Ambari και της πλατφόρμας δεδομένων Hortonworks (HDP 2.0)
Requirements
- άνετα με τη βασική διαχείριση συστήματος Linux
- βασικές δεξιότητες σεναρίου
Δεν απαιτείται γνώση του Hadoop και του Κατανεμημένου Υπολογισμού, αλλά θα εισαχθεί και θα εξηγηθεί στο μάθημα.
Εργαστηριακό περιβάλλον
Zero Install : Δεν χρειάζεται να εγκαταστήσετε λογισμικό hadoop στα μηχανήματα των μαθητών! Θα παρασχεθεί ένα εργασιακό σύμπλεγμα hadoop για τους μαθητές.
Οι μαθητές θα χρειαστούν τα ακόλουθα
- ένα πρόγραμμα-πελάτη SSH (Linux και το Mac έχουν ήδη προγράμματα-πελάτες ssh, για το Windows Putty συνιστάται)
- ένα πρόγραμμα περιήγησης για πρόσβαση στο σύμπλεγμα. Συνιστούμε το πρόγραμμα περιήγησης Firefox με εγκατεστημένη την επέκταση FoxyProxy
21 Hours
Testimonials (5)
The live examples
Ahmet Bolat - Accenture Industrial SS
Course - Python, Spark, and Hadoop for Big Data
During the exercises, James explained me every step whereever I was getting stuck in more detail. I was completely new to NIFI. He explained the actual purpose of NIFI, even the basics such as open source. He covered every concept of Nifi starting from Beginner Level to Developer Level.
Firdous Hashim Ali - MOD A BLOCK
Course - Apache NiFi for Administrators
Trainer's preparation & organization, and quality of materials provided on github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Course - Impala for Business Intelligence
That I had it in the first place.
Peter Scales - CACI Ltd
Course - Apache NiFi for Developers
practical things of doing, also theory was served good by Ajay
