Εκπαίδευση Big Data στην Κύπρος

Αυτή η εκπαιδευτική διάλεξη σε ζωντανό μέρος (σε πρόσωπο πρόσωπου ή διαδικτύου) είναι στοχευμένη για μεσαίου επιπέδου ειδικές στατιστικά επιστήμονες και μηχανικούς που θέλουν να χρησιμοποιήσουν Google Colab και Apache Spark για την επεξεργασία και ανάλυση μεγάλων δεδομένων.

Μέχρι το τέλος αυτής της εκπαιδευτικής διαλέξεως, οι μεταφράστες θα μπορούν να:

• Εγκαταστήσουν περιβάλλον μεγάλων δεδομένων χρησιμοποιώντας Google Colab και Spark.
• Επεξεργαστούν και αναλύσουν μεγάλα σημεία δεδομένων εξικανώς με το Apache Spark.
• Δημιουργήστε προβολές για μεγάλα σημεία δεδομένων σε ενόπλη υπεύθυνη ομάδα.
• Συνδυάστε Apache Spark με αστικά εργαλεία.

Stratio είναι μια πλατφόρμα αξιοθέτησης δεδομένων που ενσωματώνει τα big data, την AI και την governance σε μία έντελη λύση. Οι modula Rocket και Intelligence επιτρέπουν γρήγορη αναζήτηση, μετάφραση δεδομένων και προβληματική ανάλυση σε εντελειώδη περιβάλλοντα.

Αυτό το δίδασκτρο με οργανωμένη καθοδήγηση (πολύχρωμος ή live) στόχο ενισχύει τους μεσαίου επιπέδου δεδομένων επαγγελματίες που επιθυμούν να χρησιμοποιήσουν τα modula Rocket και Intelligence στο Stratio αποτελεσματικά με PySpark, εστίαζόντας σε περιβάλλοντα διαδηλώσεων, χρήστες-ορισμένες λειτουργίες και προβληματικά δεδομένα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Να περιφέρονται και να εργάζονται στην Stratio platform χρησιμοποιώντας τους modula Rocket και Intelligence.
• Να εφαρμόζουν PySpark σε περιβάλλοντα δεδομένων ingestion, transformation, και analysis.
• Να χρησιμοποιούν loops και συνθηκική λογική για τον έλεγχο δεδομένων workflows και feature engineering tasks.
• Να δημιουργούν και να διαχειρίζονται χρήστες-ορισμένες λειτουργίες (UDFs) για μεταχειριστό data operations στο PySpark.

Μορφή της Εκπαίδευσης

• Διεξοδική εισαγωγή και συζήτηση.
• Πολλά ασκήσεις και πρακτική.
• Αλληλεπίδραση σε μια live-lab περιβάλλον.

Επιλογές Διεξαγωγής Προσαρμοστικών

• Για να αιτηθεί μια προσαρμοσμένη εκπαίδευση για αυτό το δίδασκο, παρακαλώ συνεχίζετε μας.

Data Warehousing είναι η πрактиκή σχεδιασμού, δημιουργίας και λειτουργίας κεντρικών αποθετηρίων δεδομένων που υποστηρίζουν την ανάλυση, έκθεση και λήψη αποφάσεων.

Αυτή η εκπαίδευση υπό την καθοδήγηση καθηγητή (online ή παρακαλωρίου) απευθύνεται σε διάφορους επιμέρους επιχειρηματικών δεδομένων του μεσαίου επιπέδου που θέλουν να υλοποιήσουν διάστατους σχεδιασμούς, να φτιάξουν αξιόπιστες ETL και ELT αρχικές γραμμές εργασίας.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Εξηγήσουν τις βασικές εννοίες και αρχιτεκτονικές δεδομένων χαντά.
• Σχεδιάσουν διάστατες μοντέλα και να επιλέξουν ανάμεσα σε συσκευαστικά (star) και χιονηλά (snowflake) σχήματα.
• Φτιάξουν και να προωθήσουν ETL και ELT αρχικές γραμμές εργασίας με αξιοπιστία.
• Διάκρινουν τα Φόρτωμα Πρακτικής (OLTP) και αναλυτικού (OLAP) εργασίες και να βελτιώσουν για την ανάλυση.

Μορφή του Μαθήματος

• Διεξοδικός λόγος και συζήτηση.
• Πολλά ασκήματα και πρακτική εξάσκηση.
• Εφαρμογή χειρόν σε ζωντανό περιβάλλον εργασίας (live-lab).

Επιλογές Προσαρμογής Μαθήματος

• Για να αιτηθείτε μια προσαρμοσμένη εκπαίδευση γι' αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να διατυπώσουμε.

Οι συμμετέχοντες που θα ολοκληρώσουν αυτήν τη ζωντανή εκπαίδευση από εκπαιδευτές στο Κύπρος θα αποκτήσουν μια πρακτική, πραγματική κατανόηση του Big Data και των σχετικών τεχνολογιών, μεθοδολογιών και εργαλείων του.

Οι συμμετέχοντες θα έχουν την ευκαιρία να κάνουν πράξη αυτή τη γνώση μέσα από πρακτικές ασκήσεις. Η ομαδική αλληλεπίδραση και η ανατροφοδότηση του εκπαιδευτή αποτελούν ένα σημαντικό στοιχείο της τάξης.

Το μάθημα ξεκινά με μια εισαγωγή στις στοιχειώδεις έννοιες του Big Data και στη συνέχεια προχωρά στις γλώσσες προγραμματισμού και τις μεθοδολογίες που χρησιμοποιούνται για την εκτέλεση Data Analysis. Τέλος, συζητάμε τα εργαλεία και την υποδομή που επιτρέπουν Big Data αποθήκευση, κατανεμημένη επεξεργασία και Scalaικανότητα.

Το Greenplum είναι μια πλατφόρμα δεδομένων open-source για ανάλυση και μεγάλες κλίμακες, σχεδιασμένη για εξανυστική επεξεργασία δεδομένων.

Αυτή η κατεύθυνση από καθηγητή, ζωντανή εκπαίδευση (online ή on-site), απευθύνεται σε τεχνικούς χρήστες μεμεσονύμου έως υψηλό επίπεδο, που επιθυμούν να κατανοήσουν την εσωτερική αρχιτεκτονική του Greenplum, να σχεδιάσουν βελτιστοποιημένες μοντέλα δεδομένων και να εφαρμόσουν υψηλή απόδοση SQL σε κατανεμημένες περιβάλλοντα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Κατανοήσουν την αρχιτεκτονική χωρίς κοινό πόρο (shared-nothing) και το μοντέλο παράλληλης επεξεργασίας του Greenplum.
• Σχεδιάσουν κατανεμημένες δομές πινάκων και κατανομές βελτιστοποιημένες για την απόδοση ερωτήσεων.
• Χρησιμοποιήσουν στρατηγικές δείκτων, μορφές αποθήκευσης και τεχνικές φυσικού σχεδιασμού.
• Ερμηνεύσουν τα EXPLAIN plans και να βελτιστοποιήσουν ερωτήσεις χρησιμοποιώντας αρχές καλό πράξη.

Μορφή του Μαθήματος

• Διαδραστική παράσταση και συζήτηση.
• Πολλά ασκήματα και πράξεις.
• Εφαρμογή χειρονομήτη σε ζωντανό εργαστήριο περιβάλλον.

Επιλογές Προσαρμογής Μαθήματος

• Για να αιτηθείτε προσαρμοσμένη εκπαίδευση γι' αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να διατυπώσετε.

Το Greenplum είναι ένα πλατφόρμα δεδομένων με μεγάλη παράλληλη επεξεργασία (MPP) open-source, βασισμένη στο PostgreSQL και σχεδιασμένη για προηγμένη ανάλυση δεδομένων και μεγάλη κλίμακα χώρου αποθήκευσης δεδομένων.

Αυτή η εκπαίδευση που πραγματοποιείται με οδηγό (online ή on-site) απευθύνεται σε διοικητές των κατώτερων επιπέδων που επιθυμούν να εγκαταστήσουν, να ρυθμίσουν και να διαχειριστούν αποτελεσματικά περιβάλλοντα Greenplum, συμπεριλαμβανομένης της διαχείρισης ενημερώσεων και βιβλιοθηκών.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Εγκαθιστούν και ρυθμίζουν ένα παραγωγικό Greenplum cluster.
• Διαχειρίζονται ενημερώσεις συστήματος και εφαρμόζουν επιδράσεις ασφαλώς.
• Να διαχειρίζονται τη βιβλιοθήκη Greenplum για ανάλυση και επεκτάσεις.
• Να υποδοχύρωνουν και να παρακολουθούν Greenplum συστήματα.

Μορφή του Μαθήματος

• Διαδραστική παράσταση και συζήτηση.
• Χειρονομία του Greenplum σε ελεγχόμενο εργαστήριο.
• Οδηγούμενα ασκήματα που εστιάζουν στη ρύθμιση cluster, workflows και επεκτάσεις συστήματος.

Επιλογές Προσαρμογής Μαθήματος

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα βάσει του περιβάλλοντός σας ή της πλατφόρμας δεδομένων, επικοινωνήστε μαζί μας για να κατανοήσουμε τις ανάγκες σας.

Αυτή η καθοδηγημένη από εκπαιδευτικό, ζωντανή εκπαίδευση σε Κύπρος (online ή on-site) απευθύνεται σε προχωρημένους διαχειριστές δεδομένων που επιθυμούν να βελτιώσουν τα ρούτινες επεξεργασίας δεδομένων, να ασφαλίσουν την ακεραιότητα των δεδομένων και να υλοποιήσουν στοχευμένες λύσεις data lakehouse που μπορούν να αντιμετωπίσουν την περιπλοκότητα σύγχρονων εφαρμογών μεγάλων δεδομένων.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Να αποκτήσουν εξαντλητική κατανόηση της αρχιτεκτονικής Iceberg, συμπεριλαμβανομένης της διαχείρισης μεταδεδομένων και της διάταξης αρχείων.
• Να ρυθμίσουν το Iceberg για βέλτιστη απόδοση σε διάφορα περιβάλλοντα και να το ενταξιορθώσουν με πολλά μηχανήματα επεξεργασίας δεδομένων.
• Να διαχειρίζονται μεγάλες κλίμακες πινάκων Iceberg, να εκτελούν περίπλοκες αλλαγές σεμασιοθεσίας και να χειριζόμαστε την εξέλιξη καταμερισμών.
• Να αποκτήσουν εξειδίκευση σε τεχνικές για τη βελτίωση της απόδοσης ερωτήσεων και την αποτελεσματικότητα σάρωσης δεδομένων για μεγάλους πίνακες.
• Να υλοποιήσουν μηχανισμούς για την ασφάλιση συνέπειας δεδομένων, να διαχειρίζονται εγγυήσεις συναλλαγών και να χειριστούν αποτυχίες σε κατανεμημένα περιβάλλοντα.

Αυτή η εκπαίδευση που διεξάγεται υπό την καθοδήγηση του εκπαιδευτικού (online ή on-site) απευθύνεται σε πρωτότυπους διαχειριστές δεδομένων που επιθυμούν να αποκτήσουν τη γνώση και τις δεξιότητες που χρειάζονται για την αποδοτική χρήση του Apache Iceberg στη διαχείριση μεγάλων συστημάτων δεδομένων, εξασφάλιση της ακεραιότητας των δεδομένων και βελτίωση των εργασιών υπολογιστικής επεξεργασίας.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Καταλάβουν θεμελιώδως την αρχιτεκτονική, τις λειτουργίες και τα πλεονεκτήματα του Apache Iceberg.
• Μάθουν για δομές πινάκων, κατανέμηση, εξέλιξη σχήματος και χρόνο ταξίδι.
• Εγκαθιστούν και διαμορφώνουν το Apache Iceberg σε διάφορες περιβάλλοντα.
• Δημιουργούν, διαχειρίζονται και επεξεργάζονται πίνακες Iceberg.
• Καταλαβαίνουν τη διαδικασία μεταφοράς δεδομένων από άλλες δομές πινάκων στο Iceberg.

Αυτή η εκπαίδευση με καθηγητή, ζωντανά σε Κύπρος (online ή on-site), απευθύνεται σε IT εξειδικευμένους των μεσαίων επιπέδων που επιθυμούν να βελτιώσουν τα δεξιότητά τους στην αρχιτεκτονική δεδομένων, την κυβέρνηση δεδομένων, τη υπολογιστικότητα στο cloud και τις τεχνολογίες μεγάλων ποσοτήτων δεδομένων (big data) για να διαχειρίζονται αποτελεσματικά και να αναλύουν μεγάλα σύνολα δεδομένων για τη μεταφορά δεδομένων σε επιχειρήσεις.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Να καταλάβουν τις βασικές έννοιες και συστατικά μέρη διάφορων αρχιτεκτονικών δεδομένων.
• Να καταλάβουν εξαντλητικά τους κανόνες διαχείρισης δεδομένων και τη σημασία τους σε ρυθμιστικά περιβάλλοντα.
• Να εφαρμόζουν και να διαχειρίζονται πλαίσια διαχείρισης δεδομένων όπως το Dama και το Togaf.
• Να εξαξιοποιούν πλατφόρμες cloud για αποτελεσματική αποθήκευση, επεξεργασία και διαχείριση δεδομένων.

Αυτή η εκπαίδευση με διάλογο και ζωντανό εκπαιδευτή σε Κύπρος (online or onsite) απευθύνεται σε δεδομένους προϊσταμένους μεγάλης κλίμακας, οι οποίοι επιθυμούν να μάθουν πώς να χρησιμοποιήσουν το Azure Data Lake Storage Gen2 για αποτελεσματικές λύσεις διαχείρισης δεδομένων.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Να καταλάβουν την αρχιτεκτονική και τις κύριες χαρακτηριστικές του Azure Data Lake Storage Gen2.
• Να βελτιστοποιήσουν την αποθήκευση και την πρόσβαση στα δεδομένα για κόστος και απόδοση.
• Να ενσωματώσουν το Azure Data Lake Storage Gen2 με άλλες υπηρεσίες του Azure για ανάλυση και διαχείριση δεδομένων.
• Να αναπτύξουν λύσεις χρησιμοποιώντας την API του Azure Data Lake Storage Gen2.
• Να εντοπίζουν και να βελτιστοποιούν κοινά προβλήματα συντήρησης.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Κύπρος (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν και να ενσωματώσουν το Spark, Hadoop και Python για να επεξεργαστούν, να αναλύσουν και να μετασχηματίσουν μεγάλα και πολύπλοκα σύνολα δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την επεξεργασία μεγάλων δεδομένων με το Spark, Hadoop και Python.
• Κατανοήστε τα χαρακτηριστικά, τα βασικά στοιχεία και την αρχιτεκτονική του Spark και Hadoop.
• Μάθετε πώς να ενσωματώνετε το Spark, Hadoop και Python για επεξεργασία μεγάλων δεδομένων.
• Εξερευνήστε τα εργαλεία στο οικοσύστημα Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka και Flume).
• Δημιουργήστε συνεργατικά συστήματα προτάσεων φιλτραρίσματος παρόμοια με το Netflix, το YouTube, το Amazon, το Spotify και το Google.
• Χρησιμοποιήστε το Apache Mahout για να κλιμακώσετε τους αλγόριθμους μηχανικής μάθησης.

Big Data και Προηγμένες Αναλυτικές είναι η εφαρμογή προχωρημένων τεχνικών και εργαλείων για ανάλυση μεγάλων, πολύπλοκων συνόλων δεδομένων προς επιχειρησιακές ερμηνείες και αποφασιστική λήψη αποφάσεων.

Αυτός ο διδασκόμενος, ζωντανός μαθητικός (διαδικτύου ή επί τόπου) στοχεύει σε προχωρημένους ειδικούς δεδομένων που θέλουν να χρησιμοποιήσουν κόψιμα-τεχνολογίες αναλυτικών μεθόδων και τεχνολογίες μεγάλων δεδομένων για πρόβλεψη, προσδιορισμό και εφεξής ανάλυση.

Στο τέλος αυτής της διδακτικής μάθησης, οι συμμετέχοντες θα είναι ικανοί να:

• Σχεδιάζουν και υλοποιούν ακρογωνιασμένες παραγωγικές δεξιότητες για συνοριακά και οργανωμένα δεδομένα.
• Εφαρμόζουν προηγμένες τεχνικές μηχανικής μάθησης και βαθύ μάθησης σε μεγάλα συνόλα δεδομένων.
• Εκμεταλλεύονται πλατφόρμες κληρονομικής υπολογιστικής για εφεξής ανάλυση και στρีμινγ δεδομένων.
• Ενσωματώνουν μεγάλες δεδομένα ανάλυσης σε επιχειρησιακή λογιστική και προσδιορισμό συστημάτων.

Σχήμα του Κλάσης

• Επεξεργασία με διάλογο και συζήτηση.
• Πολλές ασκήσεις και άσκηση.
• Εφαρμόσιμα προσδιορισμοί σε μια υπεύθυνη λειτουργία της ζωής απώτερη περιβάλλον.

Προσαρμοστικές Επιλογές Διδασκαλίας

• Για να αιτηθεί μια προσαρμοσμένη διδασκαλία για αυτή την κλάση, παρακαλώ επικοινωνήστε μαζί μας για να σχεδιάσετε.

Αυτή η καθοδηγημένη από εκπαιδευτή, ζωντανή εκπαίδευση σε Κύπρος (online ή on-site) είναι απευθυνόμενη σε προχωρημένους IT επαγγελματίες που επιδιώκουν να αποκτήσουν ολοκληρωμένη κατανόηση του IBM DataStage, τόσο από διαχειριστική όσο και από προγραμματιστική οπτική, επιτρέποντάς τους να διαχειρίζονται και να χρησιμοποιούν αυτό το εργαλείο αποτελεσματικά στις θέσεις εργασίας τους.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Κατανοήσουν τα βασικά προσωπικά χαρακτηριστικά του DataStage.
• Μάθετε να εγκαθιστάτε, να συνδυάζετε και να διαχειρίζεστε αποτελεσματικά περιβάλλοντα DataStage.
• Συνδέστε σε διάφορες πηγές δεδομένων και εξαγάγετε αποτελεσματικά δεδομένα από βάσεις δεδομένων, πλωύρια αρχεία και εξωτερικές πηγές.
• Εφαρμόστε αποτελεσματικές τεχνικές φόρτωσης δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Κύπρος (διαδικτυακό ή επιτόπου) απευθύνεται σε αρχάριους έως μεσαίου επιπέδου διαχειριστές συστημάτων που επιθυμούν να αναπτύξουν, να διατηρήσουν και να βελτιστοποιήσουν συμπλέγματα Spark.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apache Spark σε διάφορα περιβάλλοντα.
• Διαχειριστείτε τους πόρους συμπλέγματος και παρακολουθήστε τις εφαρμογές Spark.
• Βελτιστοποιήστε την απόδοση των συμπλεγμάτων Spark.
• Εφαρμόστε μέτρα ασφαλείας και εξασφαλίστε υψηλή διαθεσιμότητα.
• Εντοπισμός σφαλμάτων και αντιμετώπιση κοινών προβλημάτων Spark.

Οι συμμετέχοντες που ολοκληρώσουν αυτή την επίδειξη με δάσκαλο, ζωντανή κατά τη διάρκεια της διδασκαλίας σε Κύπρος, θα αποκτήσουν πρακτική, χρήσιμη γνώση σχετικά με τα Big Data και τις συνδεδεμένες τεχνολογίες, μεθόδους και εργαλεία.

Οι συμμετέχοντες θα έχουν την ευκαιρία να εφαρμόσουν αυτή τη γνώση μέσω πρακτικών στοιχείων. Η διάλεξη και το feedback του δασκάλου αποτελούν μια σημαντική πτυχή του μαθήματος.

Το μάθημα ξεκινά με μια εισαγωγή στα βασικά στοιχεία των Big Data, συνεχίζει με τις γλώσσες προγραμματισμού και τις μεθόδους που χρησιμοποιούνται για την ανάλυση δεδομένων. Τέλος, συζητάμε τα εργαλεία και την υποδομή που εξασφαλίζουν την αποθήκευση Big Data, την κατανεμημένη επεξεργασία και την δυνατότητα μεγέθυνσης.

Σε αυτήν τη ζωντανή εκπαίδευση στο Κύπρος, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το Python και το Spark μαζί για να αναλύουν μεγάλα δεδομένα καθώς εργάζονται σε πρακτικές ασκήσεις.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Μάθετε πώς να χρησιμοποιείτε το Spark με το Python για την ανάλυση του Big Data.
• Εργαστείτε σε ασκήσεις που μιμούνται πραγματικές περιπτώσεις.
• Χρησιμοποιήστε διαφορετικά εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το PySpark.

Πληθυσμός:

Το μάθημα προορίζεται για ειδικές του IT που αναζητούν λύση για τη αποθήκευση και επεξεργασία μεγάλων σημείων δεδομένων σε περιβάλλον διανεμημένου συστήματος

Goal:

Καθολική γνώση στην διαχείριση κλάστερ Hadoop.

Οι πρόοδοι στις τεχνολογίες και η αύξηση του όγκου των πληροφοριών επηρεάζουν τον τρόπο λειτουργίας πολλών βιομηχανιών, συμπεριλαμβανομένων και των κυβερνήσεων. Τα ρυθμίσεις που δημιουργούν και αποθηκεύουν δεδομένα στον κυβερνητικό τομέα επιταχύνονται λόγω της γρήγορης ανάπτυξης των κινητών συσκευών και εφαρμογών, ορατών φθεντέρων και συσκευών, λύσεων πάνω στο ραντεβού, και πορταλ που απευθύνονται στους πολίτες. Καθώς τα διψηφιακά δεδομένα εξελίσσονται και γίνονται πιο περίπλοκα, η διαχείριση, επεξεργασία, αποθήκευση, ασφάλεια και χειρισμός των πληροφοριών γίνονται πιο περίπλοκοι. Νέα εργαλεία απόκτησης, αναζήτησης, ανάκαλυψης και ανάλυσης βοηθούν τις οργανώσεις να περιλαμβάνουν ειδήσεις από τα μη δομημένα τους δεδομένα. Η κυβερνητική αγορά βρίσκεται σε ένα σημείο κλίμακας, υποσχόμενη ότι τα πληροφορίες είναι μια στρατηγική περιουσία, και η κυβέρνηση πρέπει να προστατεύει, να χρησιμοποιεί και να αναλύει τόσο δομημένα όσο και μη δομημένα πληροφορίες για να εξυπηρετήσει καλύτερα και να συμβάλει στην εκπλήρωση των αποστολών. Καθώς οι κυβερνητικοί ηγέτες προσπαθούν να εξελίξουν δεδομένα-οδηγούς οργανισμούς για την επιτυχή ανάπτυξη των αποστολών, θέτουν τη βάση για τη συσχέτιση των εξαρτήσεων μεταξύ γεγονότων, ανθρώπων, διαδικασιών και πληροφοριών.

Υψηλή αξίας λύσεις στην κυβέρνηση θα δημιουργηθούν μέσω της ενοποίησης των πιο διακυβευμένων τεχνολογιών:

• Κινητά συσκευές και εφαρμογές
• Υπηρεσίες ραντεβού
• Τεχνολογίες και δικτύα επιχειρηματικής κοινωνικότητας
• Μεγάλα Δεδομένα και ανάλυση

Τα Μεγάλα Δεδομένα είναι μια από τις εξυπηρετητικές λύσεις που επιτρέπουν στην κυβέρνηση να λαμβάνει καλύτερες αποφάσεις μέσω της πρακτικής εφαρμογής σχεδίων που αποκαλύπτονται από την ανάλυση μεγάλων όγκων δεδομένων - συνδεδεμένων και άσχετων, δομημένων και μη δομημένων.

Η επίτευξη αυτών των στόχων περνά από την απλή συσσωρευτικότητα μεγάλων όγκων δεδομένων. "Η κατανόηση αυτών των μεγάλων πληθών Μεγάλων Δεдομένων χρειάζεται κοπελάδικα εργαλεία και τεχνολογίες που μπορούν να αναλύσουν και να εξαγάγουν χρήσιμη γνώση από διάφορες ροές πληροφορίων", έγραψαν ο Tom Kalil και η Fen Zhao του Γραφείου Επιστήμης και Τεχνολογίας του Λευκού Οίκου σε μια ανάρτηση στο OSTP Blog.

Ο Λευκός Οίκος πήρε ένα βήμα για να βοηθήσει τους υπηρετηρίους να βρούν αυτές τις τεχνολογίες όταν ίδρυσε το Εθνικό Πρόγραμμα Έρευνας και Ανάπτυξης για τα Μεγάλα Δεδομένα το 2012. Το πρόγραμμα περιλήφθηκε μαζί με περισσότερα από 200 εκατομμύρια δολάρια για να χρησιμοποιήσει την έκρηξη των Μεγάλων Δεδομένων και τα εργαλεία που χρειάζονται για να τα αναλύσουν.

Τα προβλήματα που προκαλούν τα Μεγάλα Δεδομένα είναι σχεδόν όσο δυναμικά όσο αποτελεσματική είναι η υπόσχεσή τους. Η αποθήκευση δεδομένων με αποδοτικό τρόπο είναι ένα από αυτά τα προβλήματα. Όπως πάντα, οι προϋπολογισμοί είναι στενούς, οπότε οι υπηρεσίες πρέπει να μειώσουν την τιμή αποθήκευσης ανά megabyte και να διατηρήσουν τα δεδομένα εύκολα προσβάσιμα ώστε οι χρήστες να μπορούν να τα λάβουν όταν τα θέλουν και ως είναι. Η αντιγραφή τεράστιων ποσοτήτων δεδομένων μεγαλώνει την πρόκληση.

Η αποτελεσματική ανάλυση δεδομένων είναι κι άλλο ένα σημαντικό πρόβλημα. Πολλές υπηρεσίες χρησιμοποιούν εμπορικά εργαλεία που τους επιτρέπουν να αναζητούν σε βουνά δεδομένων, με αποδοχή των τάσεων που μπορούν να τους βοηθήσουν να λειτουργούν πιο αποδοτικά. (Μια πρόσφατη έρευνα του MeriTalk δείχνει ότι οι εκτελεστικοί διαχειριστές IT των κυβερνήσεων πιστεύουν ότι τα Μεγάλα Δεδομένα μπορούν να βοηθήσουν τις εξυπηρετητικές υπηρεσίες να εξοικονομήσουν πάνω από 500 δισεκατομμύρια δολάρια, και ταυτόχρονα να εκπληρώσουν τους στόχους τους.).

Εργαλεία ανάλυσης δεδομένων που χτίζονται ειδικά επιτρέπουν σε υπηρεσίες να κατανοήσουν τα δεδομένα τους. Για παράδειγμα, οι ομάδες ερευνητών του Εθνικού Εργαστηρίου Oak Ridge υπό την ομάδα Computational Data Analytics Group έχουν διαθέσει το σύστημα ανάλυσης δεδομένων Piranha σε άλλες υπηρεσίες. Το σύστημα έχει βοηθήσει τους ερευνητές γιατρικής να βρούν ένα σύνδεσμο που μπορεί να αλάρησει τους ιατρούς για διαφανίσεις αορτής πριν συμβεί. Χρησιμοποιείται επίσης και για πιο καθηκόδουλες δραστηριότητες, όπως την ανάζητηση βιβλίων για να συνδέσει προσωπικό με διευθυντές μίσθωσης.

Ημέρα 1 - παρέχει μία γενική ιδέα των βασικών θεμάτων Big Data. Το μούλο χωρίζεται σε μια σειρά ενότητων, κάθε μία από τις οποίες διασκεδαστικής εφαρμογής συνοδεύεται.

Ημέρα 2 - εξετάζει μια πληθώρα θεμάτων που σχετίζονται με τις πρακτικές και τα εργαλεία ανάλυσης Big Data. Δεν επικεντρώνεται σε λεπτομερείς υλοποιήσεις ή προγραμματισμό, αλλά διατηρεί τη κάλυψη σε ένα εννοιακό επίπεδο, με στόχο την ανάπτυξη ενός πλήρους κατανόησης των συνηθισμένων λειτουργιών ανάλυσης και χαρακτηριστικών που προσφέρονται από τις λύσεις Big Data.

Ημέρα 3 - παρέχει μία καθολική εικόνα των βασικών θεμάτων που σχετίζονται με την αρχιτεκτονική πλατφόρμας Big Data. Καλύπτει τους μηχανισμούς Big Data που χρειάζονται για την ανάπτυξη ενός πλαίσιου λύσης Big Data και τις αρχιτεκτονικές επιλογές για τη συνέλευση ενός πλαίσιου εξεργασίας δεδομένων. Παρουσιάζονται και κοινές σενάρια για να παρέχουν μια βασική κατανόηση του τρόπου εφαρμογής των πλατφορμών λύσεων Big Data.

Ημέρα 4 - χτίζει στη βάση της Ημέρα 3 εξετάζοντας πιο προχωρημένα θέματα που αφορούν την αρχιτεκτονική πλαίσιου λύσης Big Data. Συγκεκριμένα, εισάγονται και συζητώνται διάφορες αρχιτεκτονικές στρώσεις που αποτελούν το πλαίσιο λύσης Big Data, όπως οι πηγές δεδομένων, η εισήγηση δεδομένων, η αποθήκευση δεδομένων, η εξεργασία δεδομένων και η ασφάλεια.

Ημέρα 5 - καλύπτει μια σειρά άσκησεων και προβλημάτων σχεδιασμένων για το να εξετάζουν την ικανότητα των μετεγχωρίων να εφαρμόζουν τη γνώση τους στα θέματα που καλύφθηκαν στις Ημέρες 3 και 4.

Η ανάλυση μεγάλων δεδομένων επικεντρώνεται στην εξέταση μεγάλων ποσοτήτων διάφορων συνόλων δεδομένων, προκειμένου να αποκαλύψει σχέσεις, κρυφέ μοτίβα και άλλες χρήσιμες επιστημονικές γνώσεις.

Η βιομηχανία της υγείας διαθέτει τεράστιες ποσότητες περίπλοκων, έτερων μεδικών και κλινικών δεδομένων. Η εφαρμογή τεχνικών ανάλυσης μεγάλων δεδομένων στα δεδομένα υγείας παρουσιάζει τεράστιο δυναμικό για την απόκτηση επιστημονικών γνώσεων που θα βελτιώσουν την παροχή υγειονομικής φροντίδας. Ωστόσο, η μεγάλη κλίμακα αυτών των συνόλων δεδομένων παρουσιάζει μεγάλες προκλήσεις στην ανάλυση και τις πρακτικές εφαρμογές σε κλινικό περιβάλλον.

Σε αυτή τη διδασκαλία υπό την καθοδήγηση εκπαιδευτικών (από Αποστάσης), οι συμμετέχοντες θα μάθουν πώς να πραγματοποιούν ανάλυση μεγάλων δεδομένων στην υγεία, καθώς προχωρούν σε μια σειρά εξασκήσεων ζωντανής εργαστηριακής.

Στο τέλος αυτής της διδασκαλίας, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκαταστήσουν και ρυθμίσουν εργαλεία ανάλυσης μεγάλων δεδομένων, όπως το Hadoop MapReduce και το Spark
• Να κατανοήσουν τις προσδιοριστικές χαρακτηριστικές των μεδικών δεδομένων
• Να εφαρμόσουν τεχνικές μεγάλων δεδομένων για να αντιμετωπίζουν τα μεδικά δεδομένα
• Να μελετήσουν συστήματα και αλγόριθμους μεγάλων δεδομένων στο πλαίσιο των εφαρμογών υγείας

Ακροατήριο

• Προγραμματιστές
• Επιστήμονες Δεδομένων

Μορφή του Κούρσου

• Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και πολλή πρακτική εφαρμογή.

Σημείωση

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση γι' αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να διατυπώσετε τη ζήτησή σας.

Σε αυτή τη ζωντανή εκπαίδευση στο Κύπρος, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τη νοοτροπία με την οποία θα προσεγγίζουν τις Big Data τεχνολογίες, θα αξιολογούν τον αντίκτυπό τους στις υπάρχουσες διαδικασίες και πολιτικές και θα εφαρμόζουν αυτές τις τεχνολογίες με σκοπό τον εντοπισμό εγκληματικών δραστηριοτήτων και την πρόληψη του εγκλήματος. Θα εξεταστούν περιπτωσιολογικές μελέτες από οργανισμούς επιβολής του νόμου σε όλο τον κόσμο για να αποκτηθούν πληροφορίες σχετικά με τις προσεγγίσεις υιοθέτησης, τις προκλήσεις και τα αποτελέσματά τους.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Συνδυάστε την τεχνολογία Big Data με τις παραδοσιακές διαδικασίες συλλογής δεδομένων για να συνδυάσετε μια ιστορία κατά τη διάρκεια μιας έρευνας.
• Εφαρμόστε βιομηχανικές λύσεις αποθήκευσης και επεξεργασίας μεγάλων δεδομένων για ανάλυση δεδομένων.
• Προετοιμασία πρότασης για την υιοθέτηση των καταλληλότερων εργαλείων και διαδικασιών για να καταστεί δυνατή μια προσέγγιση βάσει δεδομένων για την ποινική έρευνα.

Το Big Data είναι ένα όρος που αναφέρεται σε λύσεις που προορίζονται για την αποθήκευση και επεξεργασία μεγάλων συνόλων δεδομένων. Αναπτύχθηκαν αρχικά από τη Google, αυτές οι λύσεις Big Data εξελίχθηκαν και έφεραν σε εμφάνιση άλλα παρόμοια έγχειρήματα, από τα οποία πολλά είναι διαθέσιμα ως open-source. Το R είναι μια δημοφιλής γλώσσα προγραμματισμού στη βιομηχανία των χρηματοπιστωτικών υπηρεσιών.

Όταν οι παραδοσιακές τεχνολογίες αποθήκευσης δεν αντιμετωπίζουν το όγκο δεδομένων που χρειάζεστε, υπάρχουν εκατόντα εναλλακτικές λύσεις. Αυτή η μάθηση προσπαθεί να καθοδηγήσει τους συμμετέχοντες ως προς τι είναι αλληλογενείς λύσεις για την αποθήκευση και ανάλυση Μεγάλων Δεδομένων (Big Data) και ποια είναι τα πλεονεκτικά και μειονεκτικά τους.

Αυτή η μάθηση εστιάζεται κυρίως σε συζήτηση και παρουσίαση λύσεων, από όπου τα εκτεταμένα άσκημα είναι διαθέσιμα με αίτηση.

Το μάθημα αποτελεί μέρος του συνόλου δεξιοτήτων Data Scientist (Domain: Data and Technology).

Αυτή η εκπαιδευτική συνεδρία βασισμένη στην τάξη θα εξερευνήσει το Big Data. Οι εκπρόσωποι θα έχουν παραδείγματα βασισμένων σε υπολογιστή και ασκήσεις περιπτωσιολογικής μελέτης για να αναλάβουν με σχετικά εργαλεία μεγάλων δεδομένων

Κοινό

Αν προσπαθήσετε να κατανοήσετε τα δεδομένα στα οποία έχετε πρόσβαση ή θέλετε να αναλύσετε μη δομημένα δεδομένα που είναι διαθέσιμα στο διαδίκτυο (όπως το Twitter, το Linked in, κ.λπ.), αυτό το μάθημα απευθύνεται σε εσάς.

Στόχος είναι κυρίως οι υπεύθυνοι λήψης αποφάσεων και οι άνθρωποι που πρέπει να επιλέξουν ποια δεδομένα αξίζει να συλλέξουν και τι αξίζει να αναλύσουμε.

Δεν στοχεύει στους ανθρώπους να διαμορφώσουν τη λύση, αλλά αυτοί θα επωφεληθούν από τη μεγάλη εικόνα.

Λειτουργία παράδοσης

Κατά τη διάρκεια του μαθήματος οι εκπρόσωποι θα παρουσιαστούν με παραδείγματα εργασίας για τις περισσότερες τεχνολογίες ανοιχτού κώδικα.

Οι σύντομες διαλέξεις θα ακολουθούνται από παρουσίαση και απλές ασκήσεις από τους συμμετέχοντες

Το περιεχόμενο και το λογισμικό που χρησιμοποιήθηκαν

Όλο το λογισμικό που χρησιμοποιείται ενημερώνεται κάθε φορά που εκτελείται το μάθημα, έτσι ελέγχουμε τις πιο πρόσφατες εκδόσεις.

Καλύπτει τη διαδικασία από την απόκτηση, τη μορφοποίηση, την επεξεργασία και την ανάλυση των δεδομένων, για να εξηγήσει πώς αυτοματοποιείται η διαδικασία λήψης αποφάσεων με τη μηχανική μάθηση.

Τα μεγάλα ποσά δεδομένων είναι σύνολα δεδομένων τόσο μεγάλα και περίπλοκα ώστε οι παραδοσιακές εφαρμογές επεξεργασίας δεδομένων να είναι ανεπαρκείς για την χειριστική τους. Τα προβλήματα μεγάλων ποσών δεδομένων περιλαμβάνουν τη συλλογή δεδομένων, αποθήκευση δεδομένων, ανάλυση δεδομένων, αναζήτηση, μοιρασισμός, μεταφορά, επικίνδυνη οπτικοποίηση, καθορισμός απορρόφησης, αναβάθμιση και προστασία πληροφοριών.

Ο κούρσος είναι προσανατολισμένος σε IT ειδικούς που αναζητούν λύσεις για τη αποθήκευση και επεξεργασία μεγάλων συνόλων δεδομένων σε περιβάλλον διανεμημένων συστημάτων

Στόχος του κούρσου:

Απόκτηση γνώσεων για την διαχείριση Hadoop cluster

Apache Hadoop είναι το πιο δημοφιλές πλαίσιο για επεξεργασία Big Data σε κλάστερ από server. Σε αυτή την διάρκεια 3 (επιλεγμένως 4) μέρες, οι εκδοτικοί θα μάθουν για τους επιχειρηματικούς πλεονεκτήματα και τις περιπτώσεις χρήσης Hadoop και του οικοσυστήματός του, πώς να επιχειρήσουν τη διάθεση κλάστερ και την ανάπτυξη, πώς να εγκαταστήσουν, διατηρήσουν, έχουν στο ρίχτωμα, διορθώσουν και τελειώσουν Hadoop. Θα πρακτικάρουν μεγάλη φόρτωση δεδομένων σε κλάστερ, θα γίνουν ευφυή με διάφορες διανομές Hadoop, και θα πρακτικάρουν την εγκατάσταση και τη διαχείριση εργαλείων του οικοσυστήματος Hadoop. Η διάθεση λήγει με συζήτηση για τον έλεγχο ασφαλείας κλάστερ με Kerberos.

"Τα υλικά ήταν πολύ επιτυχημένα διατυπωμένα και εξαναγκάστηκαν. Το Lab ήταν πολύ χρήσιμο και καλά συνταγμένο"— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Ακροατής

Hadoop διαχειριστές

Σχεδιασμός

Ομιλίες και προκειμένα υποψήφια αυξητικά, περίπου 60% ομιλίες, 40% εργαστηριακό.

Το Apache Hadoop είναι το πιό δημοφιλές πλαίσιο για την επεξεργασία μεγάλων όγκων δεδομένων (Big Data) σε ομάδες διακομιστών. Αυτό το μάθημα θα εισάγει τους προγραμματιστές σε διάφορες συστατικές (HDFS, MapReduce, Pig, Hive και HBase) της οικογένειας εφαρμογών Hadoop.

Το Apache Hadoop είναι ένα από τα πιο δημοφιλή πλαίσια για την επεξεργασία μεγάλων ποσοτήτων δεδομένων σε κλυστές διακομιστών. Αυτό το μάθημα εισάγει τη διαχείριση δεδομένων στο HDFS, το προηγμένο Pig και Hive, καθώς και το HBase. Αυτές οι προηγμένες τεχνικές προγραμματισμού θα είναι ωφέλιμες για εμπειρογνώμονες προγραμματιστές Hadoop.

Δημοσίων: προγραμματιστές

Διάρκεια: τρεις ημέρες

Μορφή: διδασκαλίες (50%) και πρακτικά εργαστήρια (50%).

Δημόσια:

Αυτή η επιμέθειξη σχεδιάστηκε για να απλοποιήσει την τεχνολογία big data/hadoop και να δείξει ότι δεν είναι δύσκολο να την κατανοήσεις.

Αυτή η εκπαιδευτική κατεύθυνση, που διεξάγεται από εκπαιδευτικό (σε διαδίκτυο ή εντός του χώρου), απευθύνεται σε διαχετικούς που θέλουν να μάθουν πώς να ρυθμίσουν, να εγκαταστήσουν και να διαχειριστούν συνόλων Hadoop στην οργάνωσή τους.

Είναι προφανές ότι, μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα έχουν τη δυνατότητα να:

• Εγκαθιστήσουν και να ρυθμίσουν το Apache Hadoop.
• Να καταλάβουν τα τέσσερα βασικά συστατικά στην οικογένεια Hadoop: HDFS, MapReduce, YARN, και Hadoop Common.
• Να χρησιμοποιήσουν το Hadoop Distributed File System (HDFS) για να εκτελέσουν σχόλια που μπορούν να ανέρχονται έως εκατό ή χιλίαδες κόμβους.  
• Να ρυθμίσουν το HDFS ως μηχανή αποθήκευσης για εγκατεστημένες εφαρμογές Spark.
• Να ρυθμίσουν το Spark για να πρόσπεσε σε εναλλακτικά κράτη αποθήκευσης, όπως η Amazon S3 και τα συστήματα βάση δεδομένων NoSQL (Redis, Elasticsearch, Couchbase, Aerospike, κλπ.).
• Να εκτελέσουν διαχειριστικές πράξεις όπως η κατοχή, διαχείριση, παρακολούθηση και ασφάλιση ενός συνόλου Apache Hadoop.

Αυτό το μάθημα παρουσιάζει το HBase – ένα NoSQL καταστήμα στο κορύφωμα του Hadoop. Το μάθημα απευθύνεται σε προγραμματιστές που θα χρησιμοποιήσουν το HBase για να αναπτύξουν εφαρμογές και σε διαχειριστές που θα διαχειρίζονται ομάδες HBase.

Θα διεξαχθεί μια διευγμένη περιήγηση στην αρχιτεκτονική του HBase, το μοντέλο δεδομένων και την ανάπτυξη εφαρμογών πάνω στο HBase. Θα συζητήσουμε επίσης τη χρήση MapReduce με HBase και ορισμένα θέματα διαχείρισης που σχετίζονται με την βελτιστοποίηση των επιδόσεων. Το μάθημα είναι πολύ χειροντικό, με αρκετές άσκησεις εργαστηρίου.

Duration : 3 ημέρες

Audience : Προγραμματιστές  & Διαχειριστές

Σε αυτή την καθοδήγηση υπό διεύθυνση εκπαιδευτή Κύπρος (προσωπικά ή απομακρυσμένα), οι συμμετέχοντες θα μάθουν πώς να ρυθμίζουν και να ενσωματώνουν διάφορα πλαίσια Ροής Δεδομένων σε υπάρχουσες συστήματα αποθήκης μεγάλων δεδομένων και σχετικές λογισμικές εφαρμογές και μικρουσλογισμικά.

Στο τέλος αυτής της καθοδήγησης, οι συμμετέχοντες θα είναι σε θέση να:

• Να εγκαθιστούν και να ρυθμίζουν διάφορα πλαίσια Ροής Δεδομένων, όπως το Spark Streaming και Kafka Streaming.
• Να καταλαβαίνουν και να επιλέγουν το πιο κατάλληλο πλαίσιο για τη συγκεκριμένη εργασία.
• Να επεξεργάζονται δεδομένα συνεχώς, παράλληλα και ένα-από-ένα.
• Να ενσωματώνουν λύσεις Ροής Δεδομένων σε υπάρχουσες βάσεις δεδομένων, data warehouses, data lakes, κλπ.
• Να ενσωματώνουν την πιο κατάλληλη βιβλιοθήκη ροής δεδομένων σε επιχειρηματικές εφαρμογές και μικρουσλογισμικά.

Αυτή η επιβλέπουμενη από διδάσκοντα, ζωντανή εκπαίδευση στο Κύπρος (online ή on-site) απευθύνεται σε τεχνικό προσωπικό που θέλει να μάθει πώς να εφαρμόσει μια στρατηγική για τη μηχανική μάθηση, αξιοποιώντας πλήρως τα μεγάλα δεδομένα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα:

• Κατανοήσουν την εξέλιξη και τις τάσεις για τη μηχανική μάθηση.
• Θα ξέρουν πώς χρησιμοποιείται η μηχανική μάθηση σε διάφορους τομείς.
• Θα γίνουν περιέργεις με τα εργαλεία, τις ικανότητες και τις υπηρεσίες που είναι διαθέσιμες για να εφαρμοστεί η μηχανική μάθηση σε μια οργάνωση.
• Θα κατανοήσουν πώς μπορεί να χρησιμοποιηθεί η μηχανική μάθηση για τη βελτίωση της εξόρυξης και ανάλυσης δεδομένων.
• Θα μάθουν τι είναι ο πλατφόρμας δεδομένων στο μεταξύ, και πώς χρησιμοποιείται από επιχειρήσεις.
• Θα κατανοήσουν τον ρόλο που έχουν σημαντικά δεδομένα και νοημοσύνες εφαρμογών σε διάφορους τομείς.

O Apache NiFi είναι ένα open-source πλατφόρμα ροής δεδομένων και επεξεργασίας γεγονότων. Ειδυλλιώνει την αυτόματη, πραγματικής χρονικής διάστασης μεταφορά, μετασχηματισμό και ενδιάμεση μέση επεξεργασία δεδομένων μεταξύ ένων διαφορετικών συστημάτων, με χρήση πλατφόρμας με γραφικό περιβάλλον και λεπτομερή ελέγχου.

Αυτή η διδασκαλία υπό την οδηγία του εκπαιδευτικού (χώρος και απομακρυσμένα) απευθύνεται σε διοικητές και μηχανικούς μεδίου επιπέδου, οι οποίοι επιθυμούν να εφαρμόσουν, να διαχειριστούν, να ασφαλίσουν και να βελτιστοποιήσουν ροές δεδομένων NiFi σε παραγωγικά περιβάλλοντα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκαταστήσουν, να ρυθμίσουν και να διατηρήσουν συστήματα συστήματος Apache NiFi.
• Σχεδιάσουν και να διαχειρίζονται ροές δεδομένων από διάφορες πηγές και θερμοκρασίες.
• Εφαρμόσουν λογική αυτοματοποίησης, διαδρομής και μετασχηματισμού ροής.
• Βελτιστοποιήσουν την απόδοση, να παρακολουθήσουν τις λειτουργίες και να εξασφαλίσουν χαλάρωση προβλημάτων.

Μορφή του Μαθήματος

• Αλληλεπιδραστική παράσταση με συζήτηση αρχιτεκτονικής πραγματικού κόσμου.
• Εργασίες χειρονομήτρου: κατασκευή, εφαρμογή και διαχείριση ροών.
• Ασκήσεις με σενάρια σε ζωντανό περιβάλλον εργαστηρίου.

Επιλογές Προσαρμογής Μαθήματος

• Για να κάνετε αίτηση για προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Σε αυτή τη ζωντανή εκπαίδευση στο Κύπρος, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν έναν αριθμό από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Αυτή η εκπαίδευση με εξηγητή, ζωντανά σε Κύπρος (online ή on-site), απευθύνεται σε επιστήμονες δεδομένων που θέλουν να χρησιμοποιήσουν το στακ SMACK για να κατασκευάσουν πλατφόρμες επεξεργασίας δεδομένων για λύσεις μεγάλων δεδομένων.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εφαρμόσουν μια αρχιτεκτονική διαδίκτυου δεδομένων για την επεξεργασία μεγάλων δεδομένων.
• Αναπτύξουν υποδομή κλαστηρικής τόπου με Apache Mesos και Docker.
• Ανάλυση δεδομένων με Spark και Scala.
• Διαχείριση ανοργανωμένων δεδομένων με Apache Cassandra.

Αυτή η οδηγία υπό διδασκαλία (online ή on-site) απευθύνεται σε μηχανικούς που επιθυμούν να εγκαταστήσουν και να διαχειριστούν το σύστημα Apache Spark για την επεξεργασία πολύ μεγάλων ποσοτήτων δεδομένων.

Στο τέλος αυτής της κατάρτισης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστάσει και διαμόρφωση του Apache Spark.
• Γρήγορη επεξεργασία και ανάλυση πολύ μεγάλων συνόλων δεδομένων.
• Κατανόηση της διαφοράς μεταξύ του Apache Spark και του Hadoop MapReduce, καθώς και πότε να χρησιμοποιήσουν αυτό ή εκείνο.
• Ενσωμάτωση του Apache Spark με άλλες εργαλεία μηχανικής μάθησης.

Η καμπύλη μάθηση του Apache Spark αρχικά είναι ξεκούραση, χρειάζεται πολλή προσπάθεια για να πάρει κανείς το πρώτο αποδότημα. Αυτό το μάθημα στοχεύει να διέλθει τον πρώτο δύσκολο τομέα. Μετά από τη συμμετοχή σε αυτό το μάθημα, οι συμμετέχοντες θα καταλάβουν τις βασικές εννοιές του Apache Spark, θα διακρίνουν με ακρίβεια το RDD από το DataFrame, θα μάθουν τη Python και Scala API, θα καταλάβουν εκτελεστές και εργασίες, κ.α. Επιπλέον, ακολουθώντας τις καλύτερες πρακτικές, αυτό το μάθημα εστιάζει ιδιαίτερα στην υπολογιστική στην Σύνθεση, Databricks και AWS. Οι φοιτητές θα καταλάβουν επίσης τις διαφορές μεταξύ AWS EMR και AWS Glue, μία από τις πιο πρόσφατες υπηρεσίες Spark του AWS.

ΔΙΕΥΘΥΝΤΗΣ:

Data Engineer, DevOps, Data Scientist

ΣΚΟΠΟΣ:

Αυτό το μάθημα θα παρουσιάσει το Apache Spark. Οι φοιτητές θα μάθουν πώς το Spark ενσωματώνεται στο οικοσύστημα Big Data και πώς να χρησιμοποιήσουν το Spark για ανάλυση δεδομένων. Το μάθημα καλύπτει το ενεργό σκέλος του Spark για αλληλεπίδραση με δεδομένα, τα εσωτερικά του Spark, τις API του Spark, το Spark SQL, τη ρύθμιση χρόνου του Spark και ο μηχανισμός μάθησης και γράφων GraphX.

ΑΝΤΙΚΕΙΜΕΝΟ :

Προγραμματιστές / Αναλυτές Δεδομένων

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Κύπρος (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Spark NLP, που βασίζεται στο Apache Spark, για να αναπτύξουν, να εφαρμόσουν και να κλιμακώσουν την επεξεργασία κειμένου σε φυσική γλώσσα μοντέλα και αγωγούς.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε την κατασκευή αγωγών NLP με το Spark NLP.
• Κατανοήστε τα χαρακτηριστικά, την αρχιτεκτονική και τα οφέλη από τη χρήση του Spark NLP.
• Χρησιμοποιήστε τα προεκπαιδευμένα μοντέλα που είναι διαθέσιμα στο Spark NLP για να εφαρμόσετε την επεξεργασία κειμένου.
• Μάθετε πώς να κατασκευάζετε, εκπαιδεύετε και κλιμακώνετε μοντέλα Spark NLP για έργα παραγωγής.
• Εφαρμογή ταξινόμησης, συμπερασμάτων και ανάλυσης συναισθήματος σε περιπτώσεις χρήσης πραγματικού κόσμου (κλινικά δεδομένα, πληροφορίες συμπεριφοράς πελατών, κ.λπ.).

O Spark SQL είναι ένας μόδουλος του Apache Spark για να εργάζεται με δομημένα και ανεξάρτητα σε δομή δεδομένα. Ο Spark SQL παρέχει πληροφορίες για τη δομή των δεδομένων καθώς και την εκτέλεση των υπολογισμών. Αυτές οι πληροφορίες μπορούν να χρησιμοποιηθούν για να διεξαχθούν βελτιώσεις. Δύο συνηθισμένες χρήσεις του Spark SQL είναι:
- η εκτέλεση SQL ερωτήσεων.
- η ανάγνωση δεδομένων από υπάρχουσες εγκαταστάσεις Hive.

Σε αυτή την καθοδηγούμενη από καθηγητή, ζωντανή εκπαίδευση (χώρου υποδοχής ή από αποστάση), οι συμμετέχοντες θα μάθουν πώς να αναλύουν διάφορους τύπους συνόλων δεδομένων χρησιμοποιώντας Spark SQL.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Να εγκαθιστούν και να ρυθμίζουν το Spark SQL.
• Να διεξάγουν ανάλυση δεδομένων με το Spark SQL.
• Να ερωτήσουν σύνολα δεδομένων σε διάφορα μορφώματα.
• Να οπτικοποιούν δεδομένα και αποτελέσματα ερωτήσεων.

Μορφή του Μαθήματος

• Διαδραστικός διάλεξη και συζήτηση.
• Πολλά ασκήματα και πράξη.
• Χειρονομία εφαρμογής σε ζωντανό lab-περιβάλλον.

Ευκαιρίες Προσαρμογής του Μαθήματος

• Για να ζητήσετε μια προσαρμογμένη εκπαίδευση για αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να κάνετε οργάνωση.

Αυτή η εκπαίδευση, που διοργανώνεται με την εξοδή του εκπαιδευτικού σε Κύπρος (online ή on-site), απευθύνεται σε τεχνικό προσωπικό που επιθυμεί να υποβάλει το Talend Open Studio for Big Data για την εξυγίανση της διαδικασίας ανάγνωσης και επεξεργασίας μεγάλων δεδομένων.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Εγκαταστήσουν και ρυθμίσουν το Talend Open Studio for Big Data.
• Να συνδεθούν με Big Data συστήματα όπως Cloudera, HortonWorks, MapR, Amazon EMR και Apache.
• Να καταλάβουν και να ρυθμίσουν τις συσταδικές περιοχές μεγάλων δεδομένων και τους συνδέσεις Open Studio.
• Να ρυθμίσουν παραμέτρους για την αυτόματη δημιουργία κώδικα MapReduce.
• Να χρησιμοποιήσουν τη σύρση-βυθισμό (drag-and-drop) διεπαφή Open Studio για την εκτέλεση Hadoop δουλειών.
• Να πρωτοτυποποιήσουν μεγάλα συμβολοσχέδια ροών δεδομένων.
• Να αυτοματοποιήσουν εγχειρήματα μεγάλης περιουσίας δεδομένων.