Εξέλιξη Κομματιού
Τμήμα 1: Διαχείριση δεδομένων στο HDFS
- Διάφορα μορφών δεδομένων (JSON / Avro / Parquet)
- Συστήματα πιεζοπληξίας
- Προστασία δεδομένων
- Εργαστήρια : Ανάλυση διαφορετικών μορφών δεδομένων; ενεργοποίηση πιεζοπληξίας
Τμήμα 2: Προηγμένο Pig
- Ορισμός συναρτήσεων από το χρήστη
- Εισαγωγή σε βιβλιοθήκες Pig (ElephantBird / Data-Fu)
- Φορτώματος περίπλοκων δομημένων δεδομένων με το Pig
- Εξατομικοποίηση Pig
- Εργαστήρια : προηγμένο scripting σε Pig, ανάλυση περίπλοκων τύπων δεδομένων
Τμήμα 3: Προηγμένο Hive
- Ορισμός συναρτήσεων από το χρήστη
- Συμπιεζόμενες πίνακες
- Εξατομικοποίηση στο Hive
- Εργαστήρια : δημιουργία συμπιεζόμενων πινάκων, εξέταση μορφών και ρύθμιση πινάκων
Τμήμα 4: Προηγμένο HBase
- Προηγμένες πρότυπα σχεδιασμού σεμαντικής δομής
- Συμπίεση
- Μαζική εισαγωγή δεδομένων
- Σύγκριση πλατών και μακρύν πινάκων
- HBase και Pig
- HBase και Hive
- Εξατομικοποίηση στο HBase
- Εργαστήρια : εξατομικοποίηση του HBase, πρόσβαση δεδομένων HBase από Pig και Hive; Χρήση Phoenix για σχεδιασμό δεδομένων
Απαιτήσεις
- Έχουν περάσει τη γλώσσα Java (τα περισσότερα από τα άσκημα προγραμματισμού είναι σε Java)
- Έχουν κάποιες βασικές γνώσεις του περιβάλλοντος Linux (μπορούν να μεταβιβάζονται στη γραμμή εντολών του Linux, να επεξεργάζονται αρχεία χρησιμοποιώντας vi / nano)
- Έχουν μια εργαστική γνώση του Hadoop.
Εργαστικό περιβάλλον
Μη χρειάζεται εγκατάσταση: Δεν απαιτείται η εγκατάσταση λογισμικού Hadoop στα υπολογιστή των φοιτητών! Ένα λειτουργικό cluster hadoop θα παρέχεται για τους φοιτητές.
Οι φοιτητές θα χρειάζονται το εξής
Σχόλια (5)
Τα ζωντανά παραδείγματα
Ahmet Bolat - Accenture Industrial SS
Κομμάτι - Python, Spark, and Hadoop for Big Data
Μηχανική Μετάφραση
Κατά τη διάρκεια των ασκήσεων, ο James μου εξήγησε σε λεπτομέρεια κάθε βήμα που μου προκαλούσε δυσκολίες. Ήθελα να γνωρίζω όλα από την αρχή στο NIFI. Εξήγησε μου το πραγματικό στόχο του NIFI, ακόμη και βασικά θέματα όπως το open source. Καλύψε εντελώς κάθε concept του Nifi, αρχίζοντας από επίπεδο ξεκαθάρισης μέχρι επίπεδο προγραμματιστή.
Firdous Hashim Ali - MOD A BLOCK
Κομμάτι - Apache NiFi for Administrators
Μηχανική Μετάφραση
Ωτι το είχα από την αρχή.
Peter Scales - CACI Ltd
Κομμάτι - Apache NiFi for Developers
Μηχανική Μετάφραση
πρακτικά πράγματα να γίνουν, επίσης η θεωρία υπηρέτηθη καλά από τον Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Κομμάτι - Hadoop Administration on MapR
Μηχανική Μετάφραση
Η VM που μου αρέσει πολύ Ο Δάσκαλος ήταν πολύ γνωστός σχετικά με το θέμα, όπως και για άλλα θέματα, ήταν πολύ φίλιος και ευγενικός Μου αρέσει το εδάφος στο Δουβάι.
Safar Alqahtani - Elm Information Security
Κομμάτι - Big Data Analytics in Health
Μηχανική Μετάφραση