Course Outline

    Scala primer Μια γρήγορη εισαγωγή στα Scala Labs : Γνωριμία με τα βασικά στοιχεία του Scala Spark Ιστορικό και ιστορία Έννοιες και αρχιτεκτονική Spark και Hadoop Spark Spark eco system (core, spark sql, mlib, streaming) Labs : Εγκατάσταση και λειτουργία Spark Πρώτη ματιά στο Spark Running Spark στο τοπική λειτουργία Spark web UI Spark shell Ανάλυση δεδομένων – μέρος 1 Επιθεώρηση RDDs Labs: Spark shell exploration RDDs RDDs concepts Partitions RDD Operations/transformations RDD Types RDD Ζεύγος κλειδιού-τιμής Χάρτης RDD Reduce on RDD Αποθήκευση κρυφής μνήμης και εμμονή Εργαστήρια RDD : δημιουργία και επιθεώρηση RDD; Προσωρινή αποθήκευση RDDs Προγραμματισμός Spark API Εισαγωγή στο Spark API / RDD API Υποβολή του πρώτου προγράμματος στο Spark Debugging / logging Ιδιότητες διαμόρφωσης Labs : Προγραμματισμός στο Spark API, υποβολή εργασιών Spark SQL SQL Υποστήριξη στο Spark Dataframes Ορισμός πινάκων και εισαγωγή συνόλων δεδομένων Ερώτηση δεδομένων καρέ που χρησιμοποιούν SQL Μορφές αποθήκευσης : JSON / Parquet Labs : Δημιουργία και αναζήτηση πλαισίων δεδομένων. Αξιολόγηση των μορφών δεδομένων MLLIB MLLIB Εισαγωγή αλγορίθμων MLLIB MLLIB LABS: Γράφοντας εφαρμογές MLIB Εφαρμογές GraphX GraphX Βιβλιοθήκη Επισκόπηση GraphX APIS Labs HDFS / YARN) Αρχιτεκτονική Hadoop + Spark Running Spark on Hadoop YARN Επεξεργασία αρχείων HDFS με χρήση Spark Spark Performance and Tuning Μεταβλητές εκπομπής Accumulators Διαχείριση μνήμης και αποθήκευση στην κρυφή μνήμη Spark Operations Ανάπτυξη του Spark στην παραγωγή Πρότυπα ανάπτυξης δείγματος Διαμορφώσεις Παρακολούθηση Αντιμετώπιση προβλημάτων

Requirements

ΠΡΟΑΠΑΙΤΟΥΜΕΝΑ

εξοικείωση με τη γλώσσα Java / Scala / Python (τα εργαστήριά μας στο Scala και Python) βασική κατανόηση του περιβάλλοντος ανάπτυξης Linux (πλοήγηση γραμμής εντολών / επεξεργασία αρχείων με χρήση VI ή nano)

  21 Hours

Number of participants



Price per participant

Related Courses

Introduction to Graph Computing

  28 Hours

Magellan: Geospatial Analytics on Spark

  14 Hours

Apache Spark SQL

  7 Hours

A Practical Introduction to Stream Processing

  21 Hours

Big Data Analytics in Health

  21 Hours

Apache Spark for .NET Developers

  21 Hours

Hadoop and Spark for Administrators

  35 Hours

Related Categories