Advanced Hadoop for Developers Training Course

Ακροατήριο:

Το μάθημα προορίζεται για ειδικούς πληροφορικής που αναζητούν μια λύση αποθήκευσης και επεξεργασίας μεγάλων συνόλων δεδομένων σε περιβάλλον κατανεμημένου συστήματος

Goal:

Βαθιά γνώση σχετικά με Hadoop διαχείριση συστάδων.

Οι μεγάλες αναλύσεις δεδομένων περιλαμβάνουν τη διαδικασία εξέτασης μεγάλων ποσοτήτων ποικίλων συνόλων δεδομένων, προκειμένου να αποκαλυφθούν συσχετισμοί, κρυμμένα μοτίβα και άλλες χρήσιμες γνώσεις.

Ο τομέας της υγείας έχει τεράστιες ποσότητες σύνθετων ετερογενών ιατρικών και κλινικών δεδομένων. Η εφαρμογή μεγάλων αναλυτικών στοιχείων σχετικά με τα δεδομένα για την υγεία παρουσιάζει τεράστιο δυναμικό για την απόκτηση γνώσεων για τη βελτίωση της παροχής υγειονομικής περίθαλψης. Ωστόσο, το τεράστιο μέγεθος αυτών των συνόλων δεδομένων δημιουργεί μεγάλες προκλήσεις σε αναλύσεις και πρακτικές εφαρμογές σε ένα κλινικό περιβάλλον.

Σε αυτή την καθοδηγούμενη από εκπαιδευτή, ζωντανή εκπαίδευση (απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να εκτελούν μεγάλες αναλύσεις δεδομένων στην υγεία καθώς περνούν μέσα από μια σειρά πρακτικών εργαστηριακών ασκήσεων.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και διαμορφώστε εργαλεία ανάλυσης δεδομένων όπως Hadoop MapReduce και Spark
• Κατανοήστε τα χαρακτηριστικά των ιατρικών δεδομένων
• Εφαρμογή μεγάλων τεχνικών δεδομένων για την αντιμετώπιση των ιατρικών δεδομένων
• Μελετήστε μεγάλα συστήματα δεδομένων και αλγόριθμους στο πλαίσιο εφαρμογών υγείας

Κοινό

• Προγραμματιστές
• Επιστήμονες δεδομένων

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση.

Σημείωση

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Το μάθημα είναι αφιερωμένο σε ειδικούς πληροφορικής που αναζητούν μια λύση αποθήκευσης και επεξεργασίας μεγάλων συνόλων δεδομένων σε περιβάλλον κατανεμημένου συστήματος

Στόχος του μαθήματος:

Απόκτηση γνώσεων σχετικά με τη διαχείριση συμπλεγμάτων Hadoop

Το Apache Hadoop είναι το πιο δημοφιλές πλαίσιο για επεξεργασία Big Data σε συμπλέγματα διακομιστών. Σε αυτό το μάθημα τριών (προαιρετικά, τεσσάρων) ημερών, οι συμμετέχοντες θα μάθουν για τα επιχειρηματικά οφέλη και τις περιπτώσεις χρήσης για το Hadoop και το οικοσύστημά του, πώς να σχεδιάσουν την ανάπτυξη και ανάπτυξη συμπλεγμάτων, πώς να εγκαταστήσουν, να διατηρήσουν, να παρακολουθήσουν, να αντιμετωπίσουν προβλήματα και να βελτιστοποιήσουν [2 ]. Θα εξασκηθούν επίσης στη φόρτωση μαζικών δεδομένων συμπλέγματος, θα εξοικειωθούν με διάφορες Hadoop διανομές και θα εξασκηθούν στην εγκατάσταση και διαχείριση Hadoop εργαλείων οικοσυστήματος. Το μάθημα ολοκληρώνεται με συζήτηση για την εξασφάλιση συμπλέγματος με το Kerberos.

«…Τα υλικά ήταν πολύ καλά προετοιμασμένα και καλυμμένα καλά. Το εργαστήριο ήταν πολύ εξυπηρετικό και καλά οργανωμένο”
— Andrew Nguyen, Principal Integration Engineer DW, Microsoft Online Advertising

Ακροατήριο

Hadoop διαχειριστές

Σχήμα και διάταξις βιβλίου

Διαλέξεις και πρακτικά εργαστήρια, κατά προσέγγιση ισορροπία 60% διαλέξεις, 40% εργαστήρια.

Το Apache Hadoop είναι το πιο δημοφιλές πλαίσιο για την επεξεργασία του Big Data σε συμπλέγματα διακομιστών. Αυτό το μάθημα θα εισάγει έναν προγραμματιστή σε διάφορα στοιχεία (HDFS, MapReduce, Pig, Hive και HBase) Hadoop οικοσύστημα.

Ακροατήριο:

Αυτό το μάθημα έχει σκοπό να απομυθοποιήσει την τεχνολογία μεγάλων δεδομένων/hadoop και να δείξει ότι δεν είναι δύσκολο να κατανοηθεί.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε διαχειριστές συστημάτων που επιθυμούν να μάθουν πώς να δημιουργούν, να αναπτύσσουν και να διαχειρίζονται Hadoop συμπλέγματα εντός του οργανισμού τους.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apache Hadoop.
• Κατανοήστε τα τέσσερα κύρια στοιχεία στο οικοσύστημα Hadoop: HDFS, MapReduce, YARN και Hadoop Common.
• Χρησιμοποιήστε το Hadoop Distributed File System (HDFS) για να κλιμακώσετε ένα σύμπλεγμα σε εκατοντάδες ή χιλιάδες κόμβους.
• Ρυθμίστε το HDFS ώστε να λειτουργεί ως μηχανή αποθήκευσης για επιτόπιες αναπτύξεις Spark.
• Ρυθμίστε το Spark για πρόσβαση σε εναλλακτικές λύσεις αποθήκευσης όπως συστήματα βάσεων δεδομένων Amazon S3 και NoSQL όπως Redis, Elasticsearch, Couchbase, Aerospike κ.λπ.
• Εκτελέστε διοικητικές εργασίες όπως η παροχή, η διαχείριση, η παρακολούθηση και η ασφάλιση ενός συμπλέγματος Apache Hadoop.

Αυτό το μάθημα εισάγει το HBase - ένα κατάστημα No SQL πάνω από τον Hadoop . Το μάθημα προορίζεται για προγραμματιστές που θα χρησιμοποιούν το HBase για την ανάπτυξη εφαρμογών και για διαχειριστές που θα διαχειρίζονται τα clusters του HBase.

Θα περπατήσουμε έναν προγραμματιστή μέσω της αρχιτεκτονικής HBase και της μοντελοποίησης δεδομένων και ανάπτυξης εφαρμογών στην HBase. Θα συζητήσει επίσης τη χρήση του MapReduce με το HBase και ορισμένα θέματα διαχείρισης που σχετίζονται με τη βελτιστοποίηση της απόδοσης. Το μάθημα είναι πολύ πρακτικό με πολλές εργαστηριακές ασκήσεις.

Διάρκεια : 3 ημέρες

Κοινό : προγραμματιστές και διαχειριστές

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) εισάγει το Hortonworks Data Platform (HDP) και καθοδηγεί τους συμμετέχοντες στην ανάπτυξη της λύσης Spark + Hadoop.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Χρησιμοποιήστε το Hortonworks για αξιόπιστη εκτέλεση του Hadoop σε μεγάλη κλίμακα.
• Ενοποιήστε τις δυνατότητες ασφάλειας, διακυβέρνησης και λειτουργίας του Hadoop με τις ευέλικτες αναλυτικές ροές εργασίας του Spark.
• Χρησιμοποιήστε το Hortonworks για να διερευνήσετε, να επικυρώσετε, να πιστοποιήσετε και να υποστηρίξετε καθένα από τα στοιχεία ενός έργου Spark.
• Επεξεργαστείτε διαφορετικούς τύπους δεδομένων, συμπεριλαμβανομένων των δομημένων, μη δομημένων, εν κινήσει και ηρεμίας.

Αυτό το μάθημα καλύπτει τον τρόπο χρήσης της γλώσσας Hive SQL (AKA: Hive HQL, SQL σε Hive , Hive QL) για άτομα που εξάγουν δεδομένα από την Hive

Το Cloudera Impala είναι μια μηχανή αναζήτησης ανοιχτού κώδικα μαζικής παράλληλης επεξεργασίας (MPP) SQL για συμπλέγματα Apache Hadoop.

Το Impala επιτρέπει στους χρήστες να εκδίδουν ερωτήματα χαμηλής καθυστέρησης SQL σε δεδομένα που είναι αποθηκευμένα στο Hadoop Κατανεμημένο Σύστημα Αρχείων και στο Apache Hbase χωρίς να απαιτείται μετακίνηση ή μετατροπή δεδομένων.

Ακροατήριο

Αυτό το μάθημα απευθύνεται σε αναλυτές και επιστήμονες δεδομένων που πραγματοποιούν ανάλυση δεδομένων που είναι αποθηκευμένα στο Hadoop μέσω Business Intelligence ή SQL εργαλείων.

Μετά από αυτό το μάθημα οι σύνεδροι θα μπορούν

• Εξάγετε σημαντικές πληροφορίες από Hadoop συμπλέγματα με Impala.
• Γράψτε συγκεκριμένα προγράμματα για να διευκολύνετε την Business Ευφυΐα στη Impala SQL Διάλεκτο.
• Αντιμετώπιση προβλημάτων Impala.

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα (επιτόπου ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να αναπτύσσουν και να διαχειρίζονται το Apache NiFi σε ένα ζωντανό εργαστηριακό περιβάλλον.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apachi NiFi.
• Προέλευση, μετατροπή και διαχείριση δεδομένων από διαφορετικές, κατανεμημένες πηγές δεδομένων, συμπεριλαμβανομένων βάσεων δεδομένων και λιμνών μεγάλων δεδομένων.
• Αυτοματοποιήστε τις ροές δεδομένων.
• Ενεργοποίηση αναλύσεων ροής.
• Εφαρμόστε διάφορες προσεγγίσεις για την απορρόφηση δεδομένων.
• Μετατρέψτε το Big Data και σε επιχειρηματικές γνώσεις.

Σε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν έναν αριθμό από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν και να ενσωματώσουν το Spark, Hadoop και Python για να επεξεργαστούν, να αναλύσουν και να μετασχηματίσουν μεγάλα και πολύπλοκα σύνολα δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την επεξεργασία μεγάλων δεδομένων με το Spark, Hadoop και Python.
• Κατανοήστε τα χαρακτηριστικά, τα βασικά στοιχεία και την αρχιτεκτονική του Spark και Hadoop.
• Μάθετε πώς να ενσωματώνετε το Spark, Hadoop και Python για επεξεργασία μεγάλων δεδομένων.
• Εξερευνήστε τα εργαλεία στο οικοσύστημα Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka και Flume).
• Δημιουργήστε συνεργατικά συστήματα προτάσεων φιλτραρίσματος παρόμοια με το Netflix, το YouTube, το Amazon, το Spotify και το Google.
• Χρησιμοποιήστε το Apache Mahout για να κλιμακώσετε τους αλγόριθμους μηχανικής μάθησης.