Advanced Hadoop for Developers Κομμάτι εκπαίδευσης

Πληθυσμός:

Το μάθημα προορίζεται για ειδικές του IT που αναζητούν λύση για τη αποθήκευση και επεξεργασία μεγάλων σημείων δεδομένων σε περιβάλλον διανεμημένου συστήματος

Goal:

Καθολική γνώση στην διαχείριση κλάστερ Hadoop.

Η ανάλυση μεγάλων δεδομένων επικεντρώνεται στην εξέταση μεγάλων ποσοτήτων διάφορων συνόλων δεδομένων, προκειμένου να αποκαλύψει σχέσεις, κρυφέ μοτίβα και άλλες χρήσιμες επιστημονικές γνώσεις.

Η βιομηχανία της υγείας διαθέτει τεράστιες ποσότητες περίπλοκων, έτερων μεδικών και κλινικών δεδομένων. Η εφαρμογή τεχνικών ανάλυσης μεγάλων δεδομένων στα δεδομένα υγείας παρουσιάζει τεράστιο δυναμικό για την απόκτηση επιστημονικών γνώσεων που θα βελτιώσουν την παροχή υγειονομικής φροντίδας. Ωστόσο, η μεγάλη κλίμακα αυτών των συνόλων δεδομένων παρουσιάζει μεγάλες προκλήσεις στην ανάλυση και τις πρακτικές εφαρμογές σε κλινικό περιβάλλον.

Σε αυτή τη διδασκαλία υπό την καθοδήγηση εκπαιδευτικών (από Αποστάσης), οι συμμετέχοντες θα μάθουν πώς να πραγματοποιούν ανάλυση μεγάλων δεδομένων στην υγεία, καθώς προχωρούν σε μια σειρά εξασκήσεων ζωντανής εργαστηριακής.

Στο τέλος αυτής της διδασκαλίας, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκαταστήσουν και ρυθμίσουν εργαλεία ανάλυσης μεγάλων δεδομένων, όπως το Hadoop MapReduce και το Spark
• Να κατανοήσουν τις προσδιοριστικές χαρακτηριστικές των μεδικών δεδομένων
• Να εφαρμόσουν τεχνικές μεγάλων δεδομένων για να αντιμετωπίζουν τα μεδικά δεδομένα
• Να μελετήσουν συστήματα και αλγόριθμους μεγάλων δεδομένων στο πλαίσιο των εφαρμογών υγείας

Ακροατήριο

• Προγραμματιστές
• Επιστήμονες Δεδομένων

Μορφή του Κούρσου

• Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και πολλή πρακτική εφαρμογή.

Σημείωση

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση γι' αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να διατυπώσετε τη ζήτησή σας.

Apache Hadoop είναι το πιο δημοφιλές πλαίσιο για επεξεργασία Big Data σε κλάστερ από server. Σε αυτή την διάρκεια 3 (επιλεγμένως 4) μέρες, οι εκδοτικοί θα μάθουν για τους επιχειρηματικούς πλεονεκτήματα και τις περιπτώσεις χρήσης Hadoop και του οικοσυστήματός του, πώς να επιχειρήσουν τη διάθεση κλάστερ και την ανάπτυξη, πώς να εγκαταστήσουν, διατηρήσουν, έχουν στο ρίχτωμα, διορθώσουν και τελειώσουν Hadoop. Θα πρακτικάρουν μεγάλη φόρτωση δεδομένων σε κλάστερ, θα γίνουν ευφυή με διάφορες διανομές Hadoop, και θα πρακτικάρουν την εγκατάσταση και τη διαχείριση εργαλείων του οικοσυστήματος Hadoop. Η διάθεση λήγει με συζήτηση για τον έλεγχο ασφαλείας κλάστερ με Kerberos.

"Τα υλικά ήταν πολύ επιτυχημένα διατυπωμένα και εξαναγκάστηκαν. Το Lab ήταν πολύ χρήσιμο και καλά συνταγμένο"— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Ακροατής

Hadoop διαχειριστές

Σχεδιασμός

Ομιλίες και προκειμένα υποψήφια αυξητικά, περίπου 60% ομιλίες, 40% εργαστηριακό.

Το Apache Hadoop είναι το πιό δημοφιλές πλαίσιο για την επεξεργασία μεγάλων όγκων δεδομένων (Big Data) σε ομάδες διακομιστών. Αυτό το μάθημα θα εισάγει τους προγραμματιστές σε διάφορες συστατικές (HDFS, MapReduce, Pig, Hive και HBase) της οικογένειας εφαρμογών Hadoop.

Δημόσια:

Αυτή η επιμέθειξη σχεδιάστηκε για να απλοποιήσει την τεχνολογία big data/hadoop και να δείξει ότι δεν είναι δύσκολο να την κατανοήσεις.

Αυτή η εκπαιδευτική κατεύθυνση, που διεξάγεται από εκπαιδευτικό (σε διαδίκτυο ή εντός του χώρου), απευθύνεται σε διαχετικούς που θέλουν να μάθουν πώς να ρυθμίσουν, να εγκαταστήσουν και να διαχειριστούν συνόλων Hadoop στην οργάνωσή τους.

Είναι προφανές ότι, μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα έχουν τη δυνατότητα να:

• Εγκαθιστήσουν και να ρυθμίσουν το Apache Hadoop.
• Να καταλάβουν τα τέσσερα βασικά συστατικά στην οικογένεια Hadoop: HDFS, MapReduce, YARN, και Hadoop Common.
• Να χρησιμοποιήσουν το Hadoop Distributed File System (HDFS) για να εκτελέσουν σχόλια που μπορούν να ανέρχονται έως εκατό ή χιλίαδες κόμβους.  
• Να ρυθμίσουν το HDFS ως μηχανή αποθήκευσης για εγκατεστημένες εφαρμογές Spark.
• Να ρυθμίσουν το Spark για να πρόσπεσε σε εναλλακτικά κράτη αποθήκευσης, όπως η Amazon S3 και τα συστήματα βάση δεδομένων NoSQL (Redis, Elasticsearch, Couchbase, Aerospike, κλπ.).
• Να εκτελέσουν διαχειριστικές πράξεις όπως η κατοχή, διαχείριση, παρακολούθηση και ασφάλιση ενός συνόλου Apache Hadoop.

Αυτό το μάθημα παρουσιάζει το HBase – ένα NoSQL καταστήμα στο κορύφωμα του Hadoop. Το μάθημα απευθύνεται σε προγραμματιστές που θα χρησιμοποιήσουν το HBase για να αναπτύξουν εφαρμογές και σε διαχειριστές που θα διαχειρίζονται ομάδες HBase.

Θα διεξαχθεί μια διευγμένη περιήγηση στην αρχιτεκτονική του HBase, το μοντέλο δεδομένων και την ανάπτυξη εφαρμογών πάνω στο HBase. Θα συζητήσουμε επίσης τη χρήση MapReduce με HBase και ορισμένα θέματα διαχείρισης που σχετίζονται με την βελτιστοποίηση των επιδόσεων. Το μάθημα είναι πολύ χειροντικό, με αρκετές άσκησεις εργαστηρίου.

Duration : 3 ημέρες

Audience : Προγραμματιστές  & Διαχειριστές

O Apache NiFi είναι ένα open-source πλατφόρμα ροής δεδομένων και επεξεργασίας γεγονότων. Ειδυλλιώνει την αυτόματη, πραγματικής χρονικής διάστασης μεταφορά, μετασχηματισμό και ενδιάμεση μέση επεξεργασία δεδομένων μεταξύ ένων διαφορετικών συστημάτων, με χρήση πλατφόρμας με γραφικό περιβάλλον και λεπτομερή ελέγχου.

Αυτή η διδασκαλία υπό την οδηγία του εκπαιδευτικού (χώρος και απομακρυσμένα) απευθύνεται σε διοικητές και μηχανικούς μεδίου επιπέδου, οι οποίοι επιθυμούν να εφαρμόσουν, να διαχειριστούν, να ασφαλίσουν και να βελτιστοποιήσουν ροές δεδομένων NiFi σε παραγωγικά περιβάλλοντα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκαταστήσουν, να ρυθμίσουν και να διατηρήσουν συστήματα συστήματος Apache NiFi.
• Σχεδιάσουν και να διαχειρίζονται ροές δεδομένων από διάφορες πηγές και θερμοκρασίες.
• Εφαρμόσουν λογική αυτοματοποίησης, διαδρομής και μετασχηματισμού ροής.
• Βελτιστοποιήσουν την απόδοση, να παρακολουθήσουν τις λειτουργίες και να εξασφαλίσουν χαλάρωση προβλημάτων.

Μορφή του Μαθήματος

• Αλληλεπιδραστική παράσταση με συζήτηση αρχιτεκτονικής πραγματικού κόσμου.
• Εργασίες χειρονομήτρου: κατασκευή, εφαρμογή και διαχείριση ροών.
• Ασκήσεις με σενάρια σε ζωντανό περιβάλλον εργαστηρίου.

Επιλογές Προσαρμογής Μαθήματος

• Για να κάνετε αίτηση για προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Σε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν έναν αριθμό από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν και να ενσωματώσουν το Spark, Hadoop και Python για να επεξεργαστούν, να αναλύσουν και να μετασχηματίσουν μεγάλα και πολύπλοκα σύνολα δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την επεξεργασία μεγάλων δεδομένων με το Spark, Hadoop και Python.
• Κατανοήστε τα χαρακτηριστικά, τα βασικά στοιχεία και την αρχιτεκτονική του Spark και Hadoop.
• Μάθετε πώς να ενσωματώνετε το Spark, Hadoop και Python για επεξεργασία μεγάλων δεδομένων.
• Εξερευνήστε τα εργαλεία στο οικοσύστημα Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka και Flume).
• Δημιουργήστε συνεργατικά συστήματα προτάσεων φιλτραρίσματος παρόμοια με το Netflix, το YouTube, το Amazon, το Spotify και το Google.
• Χρησιμοποιήστε το Apache Mahout για να κλιμακώσετε τους αλγόριθμους μηχανικής μάθησης.