Course Outline
Θεμέλια της Εντατικής Δεδομένων Platform Engineering
- Εισαγωγή σε εφαρμογές έντασης δεδομένων
- Προκλήσεις στη μηχανική πλατφόρμας για μεγάλα δεδομένα
- Επισκόπηση αρχιτεκτονικών επεξεργασίας δεδομένων
Μοντελοποίηση δεδομένων και Management
- Αρχές μοντελοποίησης δεδομένων για επεκτασιμότητα
- Επιλογές αποθήκευσης δεδομένων και βελτιστοποίηση
- Διαχείριση του κύκλου ζωής δεδομένων σε ένα κατανεμημένο περιβάλλον
Big Data Πλαίσια επεξεργασίας
- Επισκόπηση εργαλείων επεξεργασίας μεγάλων δεδομένων (Hadoop, Spark, Flink)
- Επεξεργασία παρτίδας έναντι ροής
- Δημιουργία αγωγού επεξεργασίας μεγάλων δεδομένων
Πλατφόρμες Analytics σε πραγματικό χρόνο
- Αρχιτεκτονική για ανάλυση σε πραγματικό χρόνο
- Μηχανές επεξεργασίας ρεύματος (Kafka Streams, Apache Storm)
- Δημιουργία πινάκων εργαλείων και απεικονίσεων σε πραγματικό χρόνο
Ενορχήστρωση αγωγών δεδομένων
- Διαχείριση ροής εργασιών με Apache Airflow και άλλους
- Αυτοματοποίηση σωληνώσεων δεδομένων για αποτελεσματικότητα
- Παρακολούθηση και ειδοποίηση για αγωγούς δεδομένων
Ασφάλεια και συμμόρφωση πλατφόρμας
- Βέλτιστες πρακτικές ασφάλειας για πλατφόρμες δεδομένων
- Διασφάλιση του απορρήτου των δεδομένων και της κανονιστικής συμμόρφωσης
- Εφαρμογή ασφαλών ελέγχων πρόσβασης δεδομένων
Συντονισμός απόδοσης και βελτιστοποίηση
- Τεχνικές για τη βελτιστοποίηση της απόδοσης δεδομένων και του λανθάνοντος χρόνου
- Στρατηγικές κλιμάκωσης για πλατφόρμες με ένταση δεδομένων
- Συγκριτική αξιολόγηση και παρακολούθηση των επιδόσεων
Μελέτες περίπτωσης και βέλτιστες πρακτικές
- Ανάλυση επιτυχημένων υλοποιήσεων πλατφόρμας δεδομένων
- Διδάγματα από τους ηγέτες του κλάδου
- Αναδυόμενες τάσεις στη μηχανική πλατφόρμας με ένταση δεδομένων
Capstone Project
- Σχεδιάζοντας μια λύση πλατφόρμας για μια εφαρμογή με ένταση δεδομένων
- Υλοποίηση πρωτοτύπου του αγωγού επεξεργασίας δεδομένων
- Αξιολόγηση της απόδοσης και της επεκτασιμότητας της πλατφόρμας
Περίληψη και Επόμενα Βήματα
Requirements
- Κατανόηση βασικών δομών δεδομένων και αλγορίθμων
- Εμπειρία στον προγραμματισμό Java, Scala ή Python
- Εξοικείωση με βασικές έννοιες των βάσεων δεδομένων και SQL
Ακροατήριο
- προγραμματιστές λογισμικού
- Μηχανικοί δεδομένων
- Τεχνικοί οδηγοί
Testimonials (3)
I am getting the correct level of understanding I need to assist in my day to day work
Wasfi Adams
Course - Impacted Function Point (IFP)
The trainer was super engaging and made sure we understand through questioning and affirmations. Even though the content was overwhelming, the trainer broke it down well and made content easily accessible for later reference.
Zaid Amerika
Course - Unit of Software Measurement Parameterization (UMSP)
Everything was built up from a basic level while progressing quick enough to prevent anyone getting bored.