Course Outline
Ενότητα 1: Εισαγωγή στο Hadoop
- Ιστορία και αρχές του Hadoop
- εκο σύστημα
- διανομές
- υψηλό επίπεδο αρχιτεκτονικής
- μύθοι του Hadoop
- προκλήσεις του Hadoop
- αρχεία / λογισμικό
- ημιτεχνική : πρώτη επισκόπηση στο Hadoop
Ενότητα 2: HDFS
- Σχεδιασμός και αρχιτεκτονική
- αρχές (υπόβαθρη επέκταση, αντιγραφή, τοπικότητα δεδομένων, ενώσιμο κλάδου)
- Δαιμόνια : Namenode, Secondary namenode, Data node
- επικοινωνίες / heart-beats
- τέκτηση δεδομένων
- υλοποίηση ανάγραμμα/γράφημα πλοήγησης
- Namenode High Availability (HA), Federation
- ημιτεχνικές : Διαδραστικό με το HDFS
Ενότητα 3: Map Reduce
- αρχές και αρχιτεκτονική
- δαιμόνια (MRV1) : jobtracker / tasktracker
- φάση : driver, mapper, shuffle/sort, reducer
- Map Reduce Έκδοση 1 και Έκδοση 2 (YARN)
- Εσωτερικά του Map Reduce
- Εισαγωγή στο Java Map Reduce πρόγραμμα
- ημιτεχνικές : Εκτέλεση δείγματος MapReduce προγράμματος
Ενότητα 4: Pig
- pig vs java map reduce
- pig job flow
- pig latin γλώσσα
- ETL με Pig
- Μεταμορφώσεις και συνδέσεις
- Χρηστής ορισμός λειτουργιών (UDF)
- ημιτεχνικές : γραφή Pig scripts για ανάλυση δεδομένων
Ενότητα 5: Hive
- αρχιτεκτονική και σχεδιασμός
- τύποι δεδομένων
- SQL υποστήριξη στο Hive
- Δημιουργία Hive πινάκων και ερωτήσεων
- διαμερισμοί
- συνδέσεις
- περιεχόμενο τηξτ
- ημιτεχνικές : διάφορες ημιτεχνικές για επεξεργασία δεδομένων με Hive
Ενότητα 6: HBase
- αρχές και αρχιτεκτονική
- HBase vs RDBMS vs Cassandra
- HBase Java API
- Χρονικά σειρά δεδομένων στο HBase
- σχεδιασμός πίνακα
- ημιτεχνικές : Διαλογός με το HBase χρησιμοποιώντας shell; προγράμματα στο HBase Java API ; Σχεδιασμός πίνακα ασκήσεων
Requirements
- εξισορροπημένος με τη γλώσσα προγραμmatισμού Java (οι περισσότερες ασκήσεις προγραmmατισμού είναι σε Java)
- εξισορροπημένος με το περιβάλλον Linux (να μπορεί να περιπατήσει στη γραμμή ευκαιρίας του Linux, να αλλάζει αρχεία χρησιμοποιώντας vi / nano)
Πειραματικό περιβάλλον
Μηδενική εγκατάσταση : Δεν υπάρχει ανάγκη να εγκαθιδρύσει Hadoop λογισμικό στις μ一台电脑故障,需要修理。
Testimonials (5)
Τα ζωντανά παραδείγματα
Ahmet Bolat - Accenture Industrial SS
Course - Python, Spark, and Hadoop for Big Data
Machine Translated
Κατά τη διάρκεια των ασκήσεων, ο James μου εξήγησε σε λεπτομέρεια κάθε βήμα που μου προκαλούσε δυσκολίες. Ήθελα να γνωρίζω όλα από την αρχή στο NIFI. Εξήγησε μου το πραγματικό στόχο του NIFI, ακόμη και βασικά θέματα όπως το open source. Καλύψε εντελώς κάθε concept του Nifi, αρχίζοντας από επίπεδο ξεκαθάρισης μέχρι επίπεδο προγραμματιστή.
Firdous Hashim Ali - MOD A BLOCK
Course - Apache NiFi for Administrators
Machine Translated
Γερματοδότης ετοιμότητα και οργάνωση, καθώς και ποιότητα των υλικών που παρέχονται στο github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Course - Impala for Business Intelligence
Machine Translated
Ωτι το είχα από την αρχή.
Peter Scales - CACI Ltd
Course - Apache NiFi for Developers
Machine Translated
πρακτικά πράγματα να γίνουν, επίσης η θεωρία υπηρέτηθη καλά από τον Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Course - Hadoop Administration on MapR
Machine Translated