Course Outline

Ενότητα 1: Εισαγωγή στο Hadoop

  • Ιστορία και αρχές του Hadoop
  • εκο σύστημα
  • διανομές
  • υψηλό επίπεδο αρχιτεκτονικής
  • μύθοι του Hadoop
  • προκλήσεις του Hadoop
  • αρχεία / λογισμικό
  • ημιτεχνική : πρώτη επισκόπηση στο Hadoop

Ενότητα 2: HDFS

  • Σχεδιασμός και αρχιτεκτονική
  • αρχές (υπόβαθρη επέκταση, αντιγραφή, τοπικότητα δεδομένων, ενώσιμο κλάδου)
  • Δαιμόνια : Namenode, Secondary namenode, Data node
  • επικοινωνίες / heart-beats
  • τέκτηση δεδομένων
  • υλοποίηση ανάγραμμα/γράφημα πλοήγησης
  • Namenode High Availability (HA), Federation
  • ημιτεχνικές : Διαδραστικό με το HDFS

Ενότητα 3: Map Reduce

  • αρχές και αρχιτεκτονική
  • δαιμόνια (MRV1) : jobtracker / tasktracker
  • φάση : driver, mapper, shuffle/sort, reducer
  • Map Reduce Έκδοση 1 και Έκδοση 2 (YARN)
  • Εσωτερικά του Map Reduce
  • Εισαγωγή στο Java Map Reduce πρόγραμμα
  • ημιτεχνικές : Εκτέλεση δείγματος MapReduce προγράμματος

Ενότητα 4: Pig

  • pig vs java map reduce
  • pig job flow
  • pig latin γλώσσα
  • ETL με Pig
  • Μεταμορφώσεις και συνδέσεις
  • Χρηστής ορισμός λειτουργιών (UDF)
  • ημιτεχνικές : γραφή Pig scripts για ανάλυση δεδομένων

Ενότητα 5: Hive

  • αρχιτεκτονική και σχεδιασμός
  • τύποι δεδομένων
  • SQL υποστήριξη στο Hive
  • Δημιουργία Hive πινάκων και ερωτήσεων
  • διαμερισμοί
  • συνδέσεις
  • περιεχόμενο τηξτ
  • ημιτεχνικές : διάφορες ημιτεχνικές για επεξεργασία δεδομένων με Hive

Ενότητα 6: HBase

  • αρχές και αρχιτεκτονική
  • HBase vs RDBMS vs Cassandra
  • HBase Java API
  • Χρονικά σειρά δεδομένων στο HBase
  • σχεδιασμός πίνακα
  • ημιτεχνικές : Διαλογός με το HBase χρησιμοποιώντας shell;  προγράμματα στο HBase Java API ; Σχεδιασμός πίνακα ασκήσεων

Requirements

  • εξισορροπημένος με τη γλώσσα προγραμmatισμού Java (οι περισσότερες ασκήσεις προγραmmατισμού είναι σε Java)
  • εξισορροπημένος με το περιβάλλον Linux (να μπορεί να περιπατήσει στη γραμμή ευκαιρίας του Linux, να αλλάζει αρχεία χρησιμοποιώντας vi / nano)

Πειραματικό περιβάλλον

Μηδενική εγκατάσταση : Δεν υπάρχει ανάγκη να εγκαθιδρύσει Hadoop λογισμικό στις μ一台电脑故障,需要修理。

 28 Hours

Number of participants


Price per participant

Testimonials (5)

Upcoming Courses

Related Categories