Εξέλιξη Κομματιού
Τμήμα 1: Διαχείριση Πληροφοριών στο HDFS
- Διάφορα Σχήματα Δεδομένων (JSON / Avro / Parquet)
- Συμπίεση Σκηνών
- Μάσκαρες Δεδομένων
- Εργαστήρια: Ανάλυση διαφορετικών σχημάτων δεδομένων; ενεργοποίηση συμπίεσης
Τμήμα 2: Προηγμένο Pig
- Εξάρτηση από χρήστες (User-defined Functions)
- Εισαγωγή στις βιβλιοθήκες Pig (ElephantBird / Data-Fu)
- Φόρτωση Περίπλοκων Δομημένων Δεδομένων με το Pig
- Προσαρμογή του Pig
- Εργαστήρια: προηγμένη διαγράφη σε Pig, ανάλυση περίπλοκων τύπων δεδομένων
Τμήμα 3: Προηγμένο Hive
- Εξάρτηση από χρήστες (User-defined Functions)
- Συμπιεσμένα Ταμπλό
- Προσαρμογή επίδοσης του Hive
- Εργαστήρια: δημιουργία συμπιεσμένων πινάκων, αξιολόγηση τύπων και ρύθμισης πινάκων
Τμήμα 4: Προηγμένο HBase
- Προηγμένη Διαμόρφωση Σχήματος
- Συμπίεση
- Μαζική Εισαγωγή Δεδομένων
- Σύγκριση ταυτόχρονων και μεγάλων πινάκων (Wide-table / Tall-table comparison)
- HBase και Pig
- HBase και Hive
- Προσαρμογή επίδοσης του HBase
- Εργαστήρια: προσαρμογή του HBase; πρόσβαση σε δεδομένα HBase μέσω Pig και Hive; Χρήση Phoenix για διαμόρφωση δεδομένων
Απαιτήσεις
- Είναι βέβαιος στη γλώσσα προγραμματισμού Java (τα περισσότερα από τα πρακτικά εξασκήσεις είναι σε Java)
- Είναι βέβαιος σε γεωμετρικό περιβάλλον (να μπορεί να πληγροφορεί στη γραμμή εντολών του Linux, να επεξεργάζεται αρχεία χρησιμοποιώντας vi / nano)
- Έχει γνώση λειτουργίας του Hadoop.
Περιβάλλον Εργαστηρίων
Zero Install: Δεν υπάρχει ανάγκη να εγκατασταθεί το λογισμικό Hadoop στους υπολογιστές των φοιτητών! Θα παρέχεται μια ενεργή κλυστή Hadoop για τους φοιτητές.
Οι φοιτητές θα χρειαστούν τα εξής
Σχόλια (5)
Τα ζωντανά παραδείγματα
Ahmet Bolat - Accenture Industrial SS
Κομμάτι - Python, Spark, and Hadoop for Big Data
Μηχανική Μετάφραση
Κατά τη διάρκεια των άσκησης, ο James μου εξήγησε κάθε βήμα όποτε έμενα απόχωρος με περισσότερη λεπτομέρεια. Ήμουν εντελώς νέος στο NIFI. Μου έκανε κατάληψη την πραγματική αξία του NIFI, ακόμη και βασικά συμπτώματα όπως η ανοιχτή πηγή. Εξέφρασε κάθε έννοια του Nifi, ξεκινώντας από το επίπεδο αρχαρίων μέχρι το επίπεδο προγραμματιστών.
Firdous Hashim Ali - MOD A BLOCK
Κομμάτι - Apache NiFi for Administrators
Μηχανική Μετάφραση
Ότι το είχα από την πρώτη στιγμή.
Peter Scales - CACI Ltd
Κομμάτι - Apache NiFi for Developers
Μηχανική Μετάφραση
πρακτικά πράγματα της εφαρμογής, καθώς και η θεωρία που υποστηρίχτηκε καλά από τον Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Κομμάτι - Hadoop Administration on MapR
Μηχανική Μετάφραση
Η Εικαστική Μηχανή (VM) που χαίρομαι πολύ Ο Καθηγητής είχε πολύ γνώσει σχετικά με το θέμα καθώς και με άλλα θέματα, ήταν πολύ όμορφος και φιλικός Η εγκατάσταση στο Δουβάι μου αρέσηκε.
Safar Alqahtani - Elm Information Security
Κομμάτι - Big Data Analytics in Health
Μηχανική Μετάφραση