Course Outline
Εισαγωγή
- Εισαγωγή στο Cloud Computing και λύσεις Big Data Επισκόπηση του Apache Hadoop Χαρακτηριστικά και Αρχιτεκτονική
Ρύθμιση Hadoop
- Σχεδιασμός συμπλέγματος Hadoop (on-premise, cloud, κ.λπ.) Επιλογή του λειτουργικού συστήματος και της διανομής Hadoop Πόρων παροχής (υλικό, δίκτυο, κ.λπ.) Λήψη και εγκατάσταση του λογισμικού Προσαρμογή μεγέθους του συμπλέγματος για ευελιξία
Εργασία με HDFS
- Κατανόηση του Hadoop Κατανεμημένου συστήματος αρχείων (HDFS) Επισκόπηση της αναφοράς εντολών HDFS Πρόσβαση στο HDFS Εκτέλεση βασικών λειτουργιών αρχείων σε HDFS χρησιμοποιώντας το S3 ως συμπλήρωμα του HDFS
Επισκόπηση του MapReduce
- Κατανόηση της ροής δεδομένων στο MapReduce Framework Map, Shuffle, Sort and Reduce Demo: Computing Top Salaries
Εργασία με YARN
- Κατανόηση της διαχείρισης πόρων στο Hadoop Εργασία με ResourceManager, NodeManager, Application Master Scheduling εργασίες στο YARN Scheduling για μεγάλους αριθμούς κόμβων και συμπλεγμάτων Επίδειξη: Προγραμματισμός εργασιών
Ενσωμάτωση Hadoop με το Spark
- Ρύθμιση χώρου αποθήκευσης για το Spark (HDFS, Amazon, S3, NoSQL, κ.λπ.) Κατανόηση Ελαστικών Κατανεμημένων Συνόλων Δεδομένων (RDD) Δημιουργία επίδειξης RDD Implementing RDD Transformations: Εφαρμογή προγράμματος αναζήτησης κειμένου για τίτλους ταινιών
Διαχείριση ενός συμπλέγματος Hadoop
- Παρακολούθηση Hadoop Ασφάλιση συμπλέγματος Hadoop Προσθήκη και αφαίρεση κόμβων Εκτέλεση σημείου αναφοράς απόδοσης Συντονισμός συμπλέγματος Hadoop για βελτιστοποίηση της απόδοσης Δημιουργία αντιγράφων ασφαλείας, ανάκτηση και σχεδιασμός επιχειρηματικής συνέχειας Διασφάλιση υψηλής διαθεσιμότητας (HA)
Αναβάθμιση και μετεγκατάσταση ενός Hadoop συμπλέγματος
- Αξιολόγηση απαιτήσεων φόρτου εργασίας Αναβάθμιση Hadoop Μετάβαση από εσωτερική εγκατάσταση στο cloud και αντίστροφα Ανάκτηση από αποτυχίες
Αντιμετώπιση προβλημάτων
Περίληψη και Συμπέρασμα
Requirements
- Εμπειρία διαχείρισης συστήματος
- Εμπειρία με τη γραμμή εντολών Linux
- Κατανόηση των εννοιών των μεγάλων δεδομένων
Ακροατήριο
- διαχειριστές συστήματος
- DBA
Testimonials (7)
I liked that it was practical. Loved to apply the theoretical knowledge with practical examples.
Aurelia-Adriana - Allianz Services Romania
Course - Python and Spark for Big Data (PySpark)
Πολλά πρακτικά παραδείγματα, διαφορετικοί τρόποι προσέγγισης του ίδιου προβλήματος και μερικές φορές όχι τόσο προφανή κόλπα πώς να βελτιώσετε την τρέχουσα λύση
Rafał - Nordea
Course - Apache Spark MLlib
Machine Translated
This is one of the best hands-on with exercises programming courses I have ever taken.
Laura Kahn
Course - Artificial Intelligence - the most applied stuff - Data Analysis + Distributed AI + NLP
I thought he did a great job of tailoring the experience to the audience. This class is mostly designed to cover data analysis with HIVE, but me and my co-worker are doing HIVE administration with no real data analytics responsibilities.
ian reif - Franchise Tax Board
Course - Data Analysis with Hive/HiveQL
Sufficient hands on, trainer is knowledgable
Chris Tan
Course - A Practical Introduction to Stream Processing
The VM I liked very much The Teacher was very knowledgeable regarding the topic as well as other topics, he was very nice and friendly I liked the facility in Dubai.
Safar Alqahtani - Elm Information Security
Course - Big Data Analytics in Health
Having hands on session / assignments