Course Outline

Ενότητα 1: Εισαγωγή στο Hadoop

    ιστορία hadoop, έννοιες διανομές οικολογικού συστήματος υψηλού επιπέδου αρχιτεκτονική hadoop μύθοι hadoop προκλήσεις εργαστήριο υλικού / λογισμικού : πρώτη ματιά στο Hadoop

Ενότητα 2: HDFS

    Έννοιες σχεδίασης και αρχιτεκτονικής (οριζόντια κλιμάκωση, αναπαραγωγή, εντοπιότητα δεδομένων, επίγνωση rack) Δαίμονες : Namenode, Δευτερεύων namenode, Επικοινωνίες κόμβου δεδομένων / καρδιακοί παλμοί Ακεραιότητα δεδομένων διαδρομή ανάγνωσης/εγγραφής Namenode High Availability (HA), Federation labs : Αλληλεπίδραση με HDFS

Ενότητα 3: Μείωση χάρτη

    Έννοιες και αρχιτεκτονικοί δαίμονες (MRV1) : φάσεις παρακολούθησης εργασιών / παρακολούθησης εργασιών: πρόγραμμα οδήγησης, αντιστοίχιση, τυχαία αναπαραγωγή/ταξινόμηση, μειωτής Περικοπή χάρτη Έκδοση 1 και έκδοση 2 (YARN) Εσωτερικά του Map Reduce Εισαγωγή στο Java Εργαστήρια προγράμματος Map Reduce : Εκτέλεση δείγματος MapReduce πρόγραμμα

Ενότητα 4 : Χοίρος

    pig vs χάρτης java μείωση ροής εργασιών χοίρου pig λατινική γλώσσα ETL με Pig Transformations & Joins Εργαστήρια συναρτήσεων καθορισμένων από το χρήστη (UDF): σύνταξη σεναρίων Pig για ανάλυση δεδομένων

Ενότητα 5: Hive

    αρχιτεκτονική και σχεδιασμός τύπων δεδομένων SQL υποστήριξη στο Hive Δημιουργία πινάκων Hive και διαμερισμάτων ερωτημάτων ενώνει εργαστήρια επεξεργασίας κειμένου : διάφορα εργαστήρια για την επεξεργασία δεδομένων με το Hive

Ενότητα 6: HBase

    Έννοιες και αρχιτεκτονική hbase vs RDBMS vs cassandra HBase Java Δεδομένα χρονοσειρών API σε εργαστήρια σχεδίασης σχήματος HBase : Αλληλεπίδραση με το HBase χρησιμοποιώντας κέλυφος. προγραμματισμός σε HBase Java API ; Άσκηση σχεδίασης σχήματος

Requirements

  • άνετα με τη γλώσσα προγραμματισμού Java (οι περισσότερες ασκήσεις προγραμματισμού είναι σε java)
  • άνετα σε περιβάλλον Linux (να είναι σε θέση να πλοηγηθεί στη γραμμή εντολών Linux, να επεξεργαστεί αρχεία χρησιμοποιώντας vi / nano)

Εργαστηριακό περιβάλλον

Zero Install : Δεν χρειάζεται να εγκαταστήσετε λογισμικό hadoop στα μηχανήματα των μαθητών! Θα παρέχεται ένα εργασιακό cluster hadoop για τους μαθητές.

Οι μαθητές θα χρειαστούν τα ακόλουθα

  • ένας πελάτης SSH (Linux και ο Mac έχουν ήδη προγράμματα-πελάτες ssh, για το Windows Putty συνιστάται)
  • ένα πρόγραμμα περιήγησης για πρόσβαση στο σύμπλεγμα. Συνιστούμε το πρόγραμμα περιήγησης Firefox
 28 Hours

Number of participants



Price per participant

Testimonials (3)

Related Courses

Apache Ambari: Efficiently Manage Hadoop Clusters

21 Hours

Hadoop For Administrators

21 Hours

Samza for Stream Processing

14 Hours

Datameer for Data Analysts

14 Hours

Related Categories