Εκπαίδευση Big Data στην Ελλάδα

Αυτή η εκπαιδευτική διάλεξη σε ζωντανό μέρος (σε πρόσωπο πρόσωπου ή διαδικτύου) είναι στοχευμένη για μεσαίου επιπέδου ειδικές στατιστικά επιστήμονες και μηχανικούς που θέλουν να χρησιμοποιήσουν Google Colab και Apache Spark για την επεξεργασία και ανάλυση μεγάλων δεδομένων.

Μέχρι το τέλος αυτής της εκπαιδευτικής διαλέξεως, οι μεταφράστες θα μπορούν να:

• Εγκαταστήσουν περιβάλλον μεγάλων δεδομένων χρησιμοποιώντας Google Colab και Spark.
• Επεξεργαστούν και αναλύσουν μεγάλα σημεία δεδομένων εξικανώς με το Apache Spark.
• Δημιουργήστε προβολές για μεγάλα σημεία δεδομένων σε ενόπλη υπεύθυνη ομάδα.
• Συνδυάστε Apache Spark με αστικά εργαλεία.

Stratio είναι μια πλατφόρμα αξιοθέτησης δεδομένων που ενσωματώνει τα big data, την AI και την governance σε μία έντελη λύση. Οι modula Rocket και Intelligence επιτρέπουν γρήγορη αναζήτηση, μετάφραση δεδομένων και προβληματική ανάλυση σε εντελειώδη περιβάλλοντα.

Αυτό το δίδασκτρο με οργανωμένη καθοδήγηση (πολύχρωμος ή live) στόχο ενισχύει τους μεσαίου επιπέδου δεδομένων επαγγελματίες που επιθυμούν να χρησιμοποιήσουν τα modula Rocket και Intelligence στο Stratio αποτελεσματικά με PySpark, εστίαζόντας σε περιβάλλοντα διαδηλώσεων, χρήστες-ορισμένες λειτουργίες και προβληματικά δεδομένα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Να περιφέρονται και να εργάζονται στην Stratio platform χρησιμοποιώντας τους modula Rocket και Intelligence.
• Να εφαρμόζουν PySpark σε περιβάλλοντα δεδομένων ingestion, transformation, και analysis.
• Να χρησιμοποιούν loops και συνθηκική λογική για τον έλεγχο δεδομένων workflows και feature engineering tasks.
• Να δημιουργούν και να διαχειρίζονται χρήστες-ορισμένες λειτουργίες (UDFs) για μεταχειριστό data operations στο PySpark.

Μορφή της Εκπαίδευσης

• Διεξοδική εισαγωγή και συζήτηση.
• Πολλά ασκήσεις και πρακτική.
• Αλληλεπίδραση σε μια live-lab περιβάλλον.

Επιλογές Διεξαγωγής Προσαρμοστικών

• Για να αιτηθεί μια προσαρμοσμένη εκπαίδευση για αυτό το δίδασκο, παρακαλώ συνεχίζετε μας.

Η Καταχώρηση Δεδομένων είναι η πρακτική σχεδιασμού, κατασκευής και λειτουργίας κεντρικών αποθετηρίων δεδομένων που υποστηρίζουν την ανάλυση, την έκθεση και τη λήψη αποφάσεων.

Αυτή η διδασκαλία με εγχείρημα, ζωντανή εκπαίδευση (online ή on-site), απευθύνεται σε γνώστες διαχειριστές δεδομένων μεγάλης κλίμακας που επιθυμούν να μοντελοποιήσουν διαστατικά δεδομένα, να χτίζουν αξιόπιστες σωληνοκυρτές (ETL) και ELT πλούμβινγκ, καθώς και να βελτιστοποιούν αναλυτικά έργα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Διασαφηνίσουν τα βασικά επιμέλητα και τις αρχιτεκτονικές των αποθετηρίων δεδομένων.
• Να σχεδιάσουν διαστατικά μοντέλα και να επιλέξουν ανάμεσα σε αστρίδες (star) και χιονόβροχο (snowflake) πληκτρολόγια.
• Να κατασκευάζουν και να διοικούν αξιόπιστες σωληνοκυρτές (ETL) και ELT.
• Να εξαγοράζουν τα έργα OLTP από τα έργα OLAP και να βελτιστοποιούν για ανάλυση.

Μορφή του Μαθήματος

• Διαδραστικός διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτική.
• Χειρονομία σε ζωντανό υπολαβικό περιβάλλον.

Επιλογές Προσαρμογής του Μαθήματος

• Για να αιτηθείτε μια προσαρμοσμένη εκπαίδευση γι' αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να κάνετε οργάνωση.

Οι συμμετέχοντες που θα ολοκληρώσουν αυτήν τη ζωντανή εκπαίδευση από εκπαιδευτές στο Ελλάδα θα αποκτήσουν μια πρακτική, πραγματική κατανόηση του Big Data και των σχετικών τεχνολογιών, μεθοδολογιών και εργαλείων του.

Οι συμμετέχοντες θα έχουν την ευκαιρία να κάνουν πράξη αυτή τη γνώση μέσα από πρακτικές ασκήσεις. Η ομαδική αλληλεπίδραση και η ανατροφοδότηση του εκπαιδευτή αποτελούν ένα σημαντικό στοιχείο της τάξης.

Το μάθημα ξεκινά με μια εισαγωγή στις στοιχειώδεις έννοιες του Big Data και στη συνέχεια προχωρά στις γλώσσες προγραμματισμού και τις μεθοδολογίες που χρησιμοποιούνται για την εκτέλεση Data Analysis. Τέλος, συζητάμε τα εργαλεία και την υποδομή που επιτρέπουν Big Data αποθήκευση, κατανεμημένη επεξεργασία και Scalaικανότητα.

Το Greenplum είναι μια πλατφόρμα δεδομένων open-source για ανάλυση και μεγάλες κλίμακες, σχεδιασμένη για εξανυστική επεξεργασία δεδομένων.

Αυτή η κατεύθυνση από καθηγητή, ζωντανή εκπαίδευση (online ή on-site), απευθύνεται σε τεχνικούς χρήστες μεμεσονύμου έως υψηλό επίπεδο, που επιθυμούν να κατανοήσουν την εσωτερική αρχιτεκτονική του Greenplum, να σχεδιάσουν βελτιστοποιημένες μοντέλα δεδομένων και να εφαρμόσουν υψηλή απόδοση SQL σε κατανεμημένες περιβάλλοντα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Κατανοήσουν την αρχιτεκτονική χωρίς κοινό πόρο (shared-nothing) και το μοντέλο παράλληλης επεξεργασίας του Greenplum.
• Σχεδιάσουν κατανεμημένες δομές πινάκων και κατανομές βελτιστοποιημένες για την απόδοση ερωτήσεων.
• Χρησιμοποιήσουν στρατηγικές δείκτων, μορφές αποθήκευσης και τεχνικές φυσικού σχεδιασμού.
• Ερμηνεύσουν τα EXPLAIN plans και να βελτιστοποιήσουν ερωτήσεις χρησιμοποιώντας αρχές καλό πράξη.

Μορφή του Μαθήματος

• Διαδραστική παράσταση και συζήτηση.
• Πολλά ασκήματα και πράξεις.
• Εφαρμογή χειρονομήτη σε ζωντανό εργαστήριο περιβάλλον.

Επιλογές Προσαρμογής Μαθήματος

• Για να αιτηθείτε προσαρμοσμένη εκπαίδευση γι' αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να διατυπώσετε.

Το Greenplum είναι ένα πλατφόρμα δεδομένων με μεγάλη παράλληλη επεξεργασία (MPP) open-source, βασισμένη στο PostgreSQL και σχεδιασμένη για προηγμένη ανάλυση δεδομένων και μεγάλη κλίμακα χώρου αποθήκευσης δεδομένων.

Αυτή η εκπαίδευση που πραγματοποιείται με οδηγό (online ή on-site) απευθύνεται σε διοικητές των κατώτερων επιπέδων που επιθυμούν να εγκαταστήσουν, να ρυθμίσουν και να διαχειριστούν αποτελεσματικά περιβάλλοντα Greenplum, συμπεριλαμβανομένης της διαχείρισης ενημερώσεων και βιβλιοθηκών.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Εγκαθιστούν και ρυθμίζουν ένα παραγωγικό Greenplum cluster.
• Διαχειρίζονται ενημερώσεις συστήματος και εφαρμόζουν επιδράσεις ασφαλώς.
• Να διαχειρίζονται τη βιβλιοθήκη Greenplum για ανάλυση και επεκτάσεις.
• Να υποδοχύρωνουν και να παρακολουθούν Greenplum συστήματα.

Μορφή του Μαθήματος

• Διαδραστική παράσταση και συζήτηση.
• Χειρονομία του Greenplum σε ελεγχόμενο εργαστήριο.
• Οδηγούμενα ασκήματα που εστιάζουν στη ρύθμιση cluster, workflows και επεκτάσεις συστήματος.

Επιλογές Προσαρμογής Μαθήματος

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα βάσει του περιβάλλοντός σας ή της πλατφόρμας δεδομένων, επικοινωνήστε μαζί μας για να κατανοήσουμε τις ανάγκες σας.

Αυτή η καθοδηγημένη από εκπαιδευτικό, ζωντανή εκπαίδευση σε Ελλάδα (online ή on-site) απευθύνεται σε προχωρημένους διαχειριστές δεδομένων που επιθυμούν να βελτιώσουν τα ρούτινες επεξεργασίας δεδομένων, να ασφαλίσουν την ακεραιότητα των δεδομένων και να υλοποιήσουν στοχευμένες λύσεις data lakehouse που μπορούν να αντιμετωπίσουν την περιπλοκότητα σύγχρονων εφαρμογών μεγάλων δεδομένων.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Να αποκτήσουν εξαντλητική κατανόηση της αρχιτεκτονικής Iceberg, συμπεριλαμβανομένης της διαχείρισης μεταδεδομένων και της διάταξης αρχείων.
• Να ρυθμίσουν το Iceberg για βέλτιστη απόδοση σε διάφορα περιβάλλοντα και να το ενταξιορθώσουν με πολλά μηχανήματα επεξεργασίας δεδομένων.
• Να διαχειρίζονται μεγάλες κλίμακες πινάκων Iceberg, να εκτελούν περίπλοκες αλλαγές σεμασιοθεσίας και να χειριζόμαστε την εξέλιξη καταμερισμών.
• Να αποκτήσουν εξειδίκευση σε τεχνικές για τη βελτίωση της απόδοσης ερωτήσεων και την αποτελεσματικότητα σάρωσης δεδομένων για μεγάλους πίνακες.
• Να υλοποιήσουν μηχανισμούς για την ασφάλιση συνέπειας δεδομένων, να διαχειρίζονται εγγυήσεις συναλλαγών και να χειριστούν αποτυχίες σε κατανεμημένα περιβάλλοντα.

Αυτή η εκπαίδευση που διεξάγεται υπό την καθοδήγηση του εκπαιδευτικού (online ή on-site) απευθύνεται σε πρωτότυπους διαχειριστές δεδομένων που επιθυμούν να αποκτήσουν τη γνώση και τις δεξιότητες που χρειάζονται για την αποδοτική χρήση του Apache Iceberg στη διαχείριση μεγάλων συστημάτων δεδομένων, εξασφάλιση της ακεραιότητας των δεδομένων και βελτίωση των εργασιών υπολογιστικής επεξεργασίας.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Καταλάβουν θεμελιώδως την αρχιτεκτονική, τις λειτουργίες και τα πλεονεκτήματα του Apache Iceberg.
• Μάθουν για δομές πινάκων, κατανέμηση, εξέλιξη σχήματος και χρόνο ταξίδι.
• Εγκαθιστούν και διαμορφώνουν το Apache Iceberg σε διάφορες περιβάλλοντα.
• Δημιουργούν, διαχειρίζονται και επεξεργάζονται πίνακες Iceberg.
• Καταλαβαίνουν τη διαδικασία μεταφοράς δεδομένων από άλλες δομές πινάκων στο Iceberg.

Αυτή η εκπαίδευση με καθηγητή, ζωντανά σε Ελλάδα (online ή on-site), απευθύνεται σε IT εξειδικευμένους των μεσαίων επιπέδων που επιθυμούν να βελτιώσουν τα δεξιότητά τους στην αρχιτεκτονική δεδομένων, την κυβέρνηση δεδομένων, τη υπολογιστικότητα στο cloud και τις τεχνολογίες μεγάλων ποσοτήτων δεδομένων (big data) για να διαχειρίζονται αποτελεσματικά και να αναλύουν μεγάλα σύνολα δεδομένων για τη μεταφορά δεδομένων σε επιχειρήσεις.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Να καταλάβουν τις βασικές έννοιες και συστατικά μέρη διάφορων αρχιτεκτονικών δεδομένων.
• Να καταλάβουν εξαντλητικά τους κανόνες διαχείρισης δεδομένων και τη σημασία τους σε ρυθμιστικά περιβάλλοντα.
• Να εφαρμόζουν και να διαχειρίζονται πλαίσια διαχείρισης δεδομένων όπως το Dama και το Togaf.
• Να εξαξιοποιούν πλατφόρμες cloud για αποτελεσματική αποθήκευση, επεξεργασία και διαχείριση δεδομένων.

Αυτή η εκπαίδευση με διάλογο και ζωντανό εκπαιδευτή σε Ελλάδα (online or onsite) απευθύνεται σε δεδομένους προϊσταμένους μεγάλης κλίμακας, οι οποίοι επιθυμούν να μάθουν πώς να χρησιμοποιήσουν το Azure Data Lake Storage Gen2 για αποτελεσματικές λύσεις διαχείρισης δεδομένων.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Να καταλάβουν την αρχιτεκτονική και τις κύριες χαρακτηριστικές του Azure Data Lake Storage Gen2.
• Να βελτιστοποιήσουν την αποθήκευση και την πρόσβαση στα δεδομένα για κόστος και απόδοση.
• Να ενσωματώσουν το Azure Data Lake Storage Gen2 με άλλες υπηρεσίες του Azure για ανάλυση και διαχείριση δεδομένων.
• Να αναπτύξουν λύσεις χρησιμοποιώντας την API του Azure Data Lake Storage Gen2.
• Να εντοπίζουν και να βελτιστοποιούν κοινά προβλήματα συντήρησης.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν και να ενσωματώσουν το Spark, Hadoop και Python για να επεξεργαστούν, να αναλύσουν και να μετασχηματίσουν μεγάλα και πολύπλοκα σύνολα δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την επεξεργασία μεγάλων δεδομένων με το Spark, Hadoop και Python.
• Κατανοήστε τα χαρακτηριστικά, τα βασικά στοιχεία και την αρχιτεκτονική του Spark και Hadoop.
• Μάθετε πώς να ενσωματώνετε το Spark, Hadoop και Python για επεξεργασία μεγάλων δεδομένων.
• Εξερευνήστε τα εργαλεία στο οικοσύστημα Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka και Flume).
• Δημιουργήστε συνεργατικά συστήματα προτάσεων φιλτραρίσματος παρόμοια με το Netflix, το YouTube, το Amazon, το Spotify και το Google.
• Χρησιμοποιήστε το Apache Mahout για να κλιμακώσετε τους αλγόριθμους μηχανικής μάθησης.

Big Data και Προηγμένες Αναλυτικές είναι η εφαρμογή προχωρημένων τεχνικών και εργαλείων για ανάλυση μεγάλων, πολύπλοκων συνόλων δεδομένων προς επιχειρησιακές ερμηνείες και αποφασιστική λήψη αποφάσεων.

Αυτός ο διδασκόμενος, ζωντανός μαθητικός (διαδικτύου ή επί τόπου) στοχεύει σε προχωρημένους ειδικούς δεδομένων που θέλουν να χρησιμοποιήσουν κόψιμα-τεχνολογίες αναλυτικών μεθόδων και τεχνολογίες μεγάλων δεδομένων για πρόβλεψη, προσδιορισμό και εφεξής ανάλυση.

Στο τέλος αυτής της διδακτικής μάθησης, οι συμμετέχοντες θα είναι ικανοί να:

• Σχεδιάζουν και υλοποιούν ακρογωνιασμένες παραγωγικές δεξιότητες για συνοριακά και οργανωμένα δεδομένα.
• Εφαρμόζουν προηγμένες τεχνικές μηχανικής μάθησης και βαθύ μάθησης σε μεγάλα συνόλα δεδομένων.
• Εκμεταλλεύονται πλατφόρμες κληρονομικής υπολογιστικής για εφεξής ανάλυση και στρีμινγ δεδομένων.
• Ενσωματώνουν μεγάλες δεδομένα ανάλυσης σε επιχειρησιακή λογιστική και προσδιορισμό συστημάτων.

Σχήμα του Κλάσης

• Επεξεργασία με διάλογο και συζήτηση.
• Πολλές ασκήσεις και άσκηση.
• Εφαρμόσιμα προσδιορισμοί σε μια υπεύθυνη λειτουργία της ζωής απώτερη περιβάλλον.

Προσαρμοστικές Επιλογές Διδασκαλίας

• Για να αιτηθεί μια προσαρμοσμένη διδασκαλία για αυτή την κλάση, παρακαλώ επικοινωνήστε μαζί μας για να σχεδιάσετε.

Αυτή η καθοδηγημένη από εκπαιδευτή, ζωντανή εκπαίδευση σε Ελλάδα (online ή on-site) είναι απευθυνόμενη σε προχωρημένους IT επαγγελματίες που επιδιώκουν να αποκτήσουν ολοκληρωμένη κατανόηση του IBM DataStage, τόσο από διαχειριστική όσο και από προγραμματιστική οπτική, επιτρέποντάς τους να διαχειρίζονται και να χρησιμοποιούν αυτό το εργαλείο αποτελεσματικά στις θέσεις εργασίας τους.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Κατανοήσουν τα βασικά προσωπικά χαρακτηριστικά του DataStage.
• Μάθετε να εγκαθιστάτε, να συνδυάζετε και να διαχειρίζεστε αποτελεσματικά περιβάλλοντα DataStage.
• Συνδέστε σε διάφορες πηγές δεδομένων και εξαγάγετε αποτελεσματικά δεδομένα από βάσεις δεδομένων, πλωύρια αρχεία και εξωτερικές πηγές.
• Εφαρμόστε αποτελεσματικές τεχνικές φόρτωσης δεδομένων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε αρχάριους έως μεσαίου επιπέδου διαχειριστές συστημάτων που επιθυμούν να αναπτύξουν, να διατηρήσουν και να βελτιστοποιήσουν συμπλέγματα Spark.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apache Spark σε διάφορα περιβάλλοντα.
• Διαχειριστείτε τους πόρους συμπλέγματος και παρακολουθήστε τις εφαρμογές Spark.
• Βελτιστοποιήστε την απόδοση των συμπλεγμάτων Spark.
• Εφαρμόστε μέτρα ασφαλείας και εξασφαλίστε υψηλή διαθεσιμότητα.
• Εντοπισμός σφαλμάτων και αντιμετώπιση κοινών προβλημάτων Spark.

Οι συμμετέχοντες που ολοκληρώσουν αυτή την επίδειξη με δάσκαλο, ζωντανή κατά τη διάρκεια της διδασκαλίας σε Ελλάδα, θα αποκτήσουν πρακτική, χρήσιμη γνώση σχετικά με τα Big Data και τις συνδεδεμένες τεχνολογίες, μεθόδους και εργαλεία.

Οι συμμετέχοντες θα έχουν την ευκαιρία να εφαρμόσουν αυτή τη γνώση μέσω πρακτικών στοιχείων. Η διάλεξη και το feedback του δασκάλου αποτελούν μια σημαντική πτυχή του μαθήματος.

Το μάθημα ξεκινά με μια εισαγωγή στα βασικά στοιχεία των Big Data, συνεχίζει με τις γλώσσες προγραμματισμού και τις μεθόδους που χρησιμοποιούνται για την ανάλυση δεδομένων. Τέλος, συζητάμε τα εργαλεία και την υποδομή που εξασφαλίζουν την αποθήκευση Big Data, την κατανεμημένη επεξεργασία και την δυνατότητα μεγέθυνσης.

Σε αυτήν τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το Python και το Spark μαζί για να αναλύουν μεγάλα δεδομένα καθώς εργάζονται σε πρακτικές ασκήσεις.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Μάθετε πώς να χρησιμοποιείτε το Spark με το Python για την ανάλυση του Big Data.
• Εργαστείτε σε ασκήσεις που μιμούνται πραγματικές περιπτώσεις.
• Χρησιμοποιήστε διαφορετικά εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το PySpark.

Πληθυσμός:

Το μάθημα προορίζεται για ειδικές του IT που αναζητούν λύση για τη αποθήκευση και επεξεργασία μεγάλων σημείων δεδομένων σε περιβάλλον διανεμημένου συστήματος

Goal:

Καθολική γνώση στην διαχείριση κλάστερ Hadoop.

Οι πρόοδοι στις τεχνολογίες και η αυξανόμενη ποσότητα πληροφοριών αλλάζουν τον τρόπο λειτουργίας των επιχειρήσεων σε πολλές βιομηχανίες, συμπεριλαμβανομένου και του κυβερνητικού τομέα. Οι ρυθμοί δημιουργίας κυβερνητικών δεδομένων και ψηφιακής αποθήκευσης αυξάνονται λόγω της γρήγορης ανάπτυξης μεταφορικών συσκευών και εφαρμογών, έξυπνων αισθητών και συσκευών, λύσεων υπολογιστικής στον νέφο και πύλων που απευθύνονται στους πολίτες. Καθώς τα ψηφιακά δεδομένα εξελίσσονται και γίνονται πιο περίπλοκα, και η διαχείρισή τους, η επεξεργασία, αποθήκευση, ασφάλεια και αντιμετώπιση γίνονται πιο περίπλοκες. Νέα εργαλεία απόκτησης, αναζήτησης, ανάκτησης και ανάλυσης βοηθούν τις οργανώσεις να περιλαμβάνουν πληροφορίες από τα μη δομημένα δεδομένα. Ο κυβερνητικός τομέας βρίσκεται σε ένα χρονικό σημείο αλλαγής, επικεντρώνοντας την προσοχή στο γεγονός ότι η πληροφορία είναι μια στρατηγική απόδοση και ότι το κράτος χρειάζεται να προστατέψει, να εξαξιοποιήσει και να αναλύσει δομημένα και μη δομημένα δεδομένα για να λειτουργήσει καλύτερα και να εκπληρώσει τους στόχους προϋπολογισμού. Καθώς οι υπεύθυνοι για τη λήψη αποφάσεων στο κράτος στοχεύουν στην εξέλιξη δικτυακών οργανισμών για να επιτύχουν με επιτυχία τους στόχους, θέτουν τα βάση για τον πληθωρισμό απόδεσμων σε γεγονότα, ανθρώπους, διαδικασίες και πληροφορίες.

Τα υψηλής αξίας κυβερνητικά λύσεις θα δημιουργηθούν από τη συμπλέξη των πιο επαναστατικών τεχνολογιών:

• Μεταφορικές συσκευές και εφαρμογές
• Υπηρεσίες Νέφου
• Tεχνολογίες διευθυνόμενων και υποδοχής χώρου
• Μεγάλα Δεδομένα και ανάλυση

To IDC προβλέπει ότι έως το 2020, η βιομηχανία IT θα φθάσει στους $5 τρισεκατοστά δολάρια, περίπου $1.7 τρισεκατοστά μεγαλύτερη από σήμερα, και ότι η 80% της ανάπτυξης της βιομηχανίας θα κινηθεί λόγω αυτών των τεχνολογιών 3ου Πλατφόρμας. Απέναντι στο μακροπρόθεσμο, αυτές οι τεχνολογίες θα γίνουν κλειδιά εργαλεία για να αντιμετωπιστεί η περιπλοκότητα των ψηφιακών δεδομένων. Τα μεγάλα Δεδομένα είναι μια από τις νευραλγικές λύσεις που επιτρέπει στην κυβέρνηση να παίρνει καλύτερες αποφάσεις μέσω της δράσης που βασίζεται στα μοτίβα που αποκαλύπτονται από την ανάλυση μεγάλου όγκου δεδομένων — σχετικών και άσχετων, δομημένων και μη δομημένων.

Η επίτευξη αυτών των αποτελεσμάτων ζητά πολύ περισσότερα από την καθαρή συσσωρευτική γέφυρα μεγάλων ποσοτήτων δεδομένων. «Η εξάλειψη αυτών των ποσοτήτων Μεγάλων Δεδομένων χρειάζεται κοπτικά εργαλεία και τεχνολογίες που μπορούν να αναλύσουν και να εξάγουν χρήσιμη γνώση από διάφορες ροές πληροφοριών,» έγραψαν ο Tom Kalil και η Fen Zhao της Διοίκησης Επιστήμης και Τεχνολογίας του Λευκού Πύργου σε μια ανάρτηση στο blog OSTP.

O Λευκός Πύργος πήρε ένα βήμα για να βοηθήσει τις αρχές να βρουν αυτά τα εργαλεία όταν δημιούργησε την Εθνική Κωδικική Έρευνα και Ανάπτυξη Μεγάλων Δεδομένων το 2012. Το πρόγραμμα περιλάμβανε παρά πάνω από $200 εκατομμύρια για να χρησιμοποιήσει την έκρηξη μεγάλων δεδομένων και τα εργαλεία που απαιτούνται για να αναλυθούν.

Τα προκλήματα που υπάρχουν με τα Μεγάλα Δεδομένα είναι σχεδόν όσο δυσκολά αντιμετωπίζονται όσο και η υπόσχεσή τους είναι αποτρόπαια. Η αποθήκευση δεδομένων με αποδοτικό τρόπο αποτελεί ένα απ' αυτά τα προβλήματα. Ως πάντα, τα προϋπολογισμού είναι σκληρά, οπότε οι οργανισμοί πρέπει να μειώσουν το κόστος αποθήκευσης ανά χιλιοβύτο και να διασφαλίσουν εύκολη πρόσβαση στα δεδομένα, οπότε οι χρήστες μπορούν να τα αποκτήσουν όταν τα θέλουν και πώς τα χρειάζονται. Η αντιγραφή μεγάλων ποσοτήτων δεδομένων επιδοκιμάζει το πρόβλημα.

Η αποτελεσματική ανάλυση των δεδομένων είναι ένα άλλο μεγάλο πρόβλημα. Πολλοί οργανισμοί χρησιμοποιούν εμπορικά εργαλεία που τους επιτρέπουν να διασχίζουν συνεχώς τα βουνά από δεδομένα, κατανοώντας τάσεις που μπορούν να τους βοηθήσουν να λειτουργούν πιο αποδοτικά. (Μια πρόσφατη έρευνα του MeriTalk διαπίστωσε ότι οι εκτελεστικοί της κυβέρνησης πιστεύουν ότι τα Μεγάλα Δεδομένα μπορούν να βοηθήσουν τους οργανισμούς να εξοικονομήσουν πάνω από $500 δισεκατοστά δολάρια, και με αυτό τον τρόπο να εκπληρώσουν τους στόχους προϋπολογισμού.).

Τα δικαιοποίητα Μεγάλα Δεδομένα επιτρέπουν επίσης στους οργανισμούς να αντιμετωπίζουν την ανάγκη για ανάλυση των δεδομένών. Για παράδειγμα, η ομάδα εργασίας ανάλυσης δεδομένων του Laboratorίou Oak Ridge National έχει κάνει διαθέσιμη το σύστημα προσαρμογής δεδομένων Piranha για άλλους οργανισμούς. Το σύστημα βοήθησε υγειονομικούς ερευνητές να βρουν μια διάδοση που μπορεί να αλετηριώσει τους ιατρούς για θρόμβωση πριν συμβεί. Χρησιμοποιείται επίσης και για πιο καθηκόντων καθήκοντα, όπως την ανάλυση βιβλιογραφιών για να συνδέει απούχοντες με εκτελεστικούς.

Ημέρα 1 - παρέχει μία γενική ιδέα των βασικών θεμάτων Big Data. Το μούλο χωρίζεται σε μια σειρά ενότητων, κάθε μία από τις οποίες διασκεδαστικής εφαρμογής συνοδεύεται.

Ημέρα 2 - εξετάζει μια πληθώρα θεμάτων που σχετίζονται με τις πρακτικές και τα εργαλεία ανάλυσης Big Data. Δεν επικεντρώνεται σε λεπτομερείς υλοποιήσεις ή προγραμματισμό, αλλά διατηρεί τη κάλυψη σε ένα εννοιακό επίπεδο, με στόχο την ανάπτυξη ενός πλήρους κατανόησης των συνηθισμένων λειτουργιών ανάλυσης και χαρακτηριστικών που προσφέρονται από τις λύσεις Big Data.

Ημέρα 3 - παρέχει μία καθολική εικόνα των βασικών θεμάτων που σχετίζονται με την αρχιτεκτονική πλατφόρμας Big Data. Καλύπτει τους μηχανισμούς Big Data που χρειάζονται για την ανάπτυξη ενός πλαίσιου λύσης Big Data και τις αρχιτεκτονικές επιλογές για τη συνέλευση ενός πλαίσιου εξεργασίας δεδομένων. Παρουσιάζονται και κοινές σενάρια για να παρέχουν μια βασική κατανόηση του τρόπου εφαρμογής των πλατφορμών λύσεων Big Data.

Ημέρα 4 - χτίζει στη βάση της Ημέρα 3 εξετάζοντας πιο προχωρημένα θέματα που αφορούν την αρχιτεκτονική πλαίσιου λύσης Big Data. Συγκεκριμένα, εισάγονται και συζητώνται διάφορες αρχιτεκτονικές στρώσεις που αποτελούν το πλαίσιο λύσης Big Data, όπως οι πηγές δεδομένων, η εισήγηση δεδομένων, η αποθήκευση δεδομένων, η εξεργασία δεδομένων και η ασφάλεια.

Ημέρα 5 - καλύπτει μια σειρά άσκησεων και προβλημάτων σχεδιασμένων για το να εξετάζουν την ικανότητα των μετεγχωρίων να εφαρμόζουν τη γνώση τους στα θέματα που καλύφθηκαν στις Ημέρες 3 και 4.

Η ανάλυση μεγάλων δεδομένων επικεντρώνεται στην εξέταση μεγάλων ποσοτήτων διάφορων συνόλων δεδομένων, προκειμένου να αποκαλύψει σχέσεις, κρυφέ μοτίβα και άλλες χρήσιμες επιστημονικές γνώσεις.

Η βιομηχανία της υγείας διαθέτει τεράστιες ποσότητες περίπλοκων, έτερων μεδικών και κλινικών δεδομένων. Η εφαρμογή τεχνικών ανάλυσης μεγάλων δεδομένων στα δεδομένα υγείας παρουσιάζει τεράστιο δυναμικό για την απόκτηση επιστημονικών γνώσεων που θα βελτιώσουν την παροχή υγειονομικής φροντίδας. Ωστόσο, η μεγάλη κλίμακα αυτών των συνόλων δεδομένων παρουσιάζει μεγάλες προκλήσεις στην ανάλυση και τις πρακτικές εφαρμογές σε κλινικό περιβάλλον.

Σε αυτή τη διδασκαλία υπό την καθοδήγηση εκπαιδευτικών (από Αποστάσης), οι συμμετέχοντες θα μάθουν πώς να πραγματοποιούν ανάλυση μεγάλων δεδομένων στην υγεία, καθώς προχωρούν σε μια σειρά εξασκήσεων ζωντανής εργαστηριακής.

Στο τέλος αυτής της διδασκαλίας, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκαταστήσουν και ρυθμίσουν εργαλεία ανάλυσης μεγάλων δεδομένων, όπως το Hadoop MapReduce και το Spark
• Να κατανοήσουν τις προσδιοριστικές χαρακτηριστικές των μεδικών δεδομένων
• Να εφαρμόσουν τεχνικές μεγάλων δεδομένων για να αντιμετωπίζουν τα μεδικά δεδομένα
• Να μελετήσουν συστήματα και αλγόριθμους μεγάλων δεδομένων στο πλαίσιο των εφαρμογών υγείας

Ακροατήριο

• Προγραμματιστές
• Επιστήμονες Δεδομένων

Μορφή του Κούρσου

• Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και πολλή πρακτική εφαρμογή.

Σημείωση

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση γι' αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να διατυπώσετε τη ζήτησή σας.

Σε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τη νοοτροπία με την οποία θα προσεγγίζουν τις Big Data τεχνολογίες, θα αξιολογούν τον αντίκτυπό τους στις υπάρχουσες διαδικασίες και πολιτικές και θα εφαρμόζουν αυτές τις τεχνολογίες με σκοπό τον εντοπισμό εγκληματικών δραστηριοτήτων και την πρόληψη του εγκλήματος. Θα εξεταστούν περιπτωσιολογικές μελέτες από οργανισμούς επιβολής του νόμου σε όλο τον κόσμο για να αποκτηθούν πληροφορίες σχετικά με τις προσεγγίσεις υιοθέτησης, τις προκλήσεις και τα αποτελέσματά τους.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Συνδυάστε την τεχνολογία Big Data με τις παραδοσιακές διαδικασίες συλλογής δεδομένων για να συνδυάσετε μια ιστορία κατά τη διάρκεια μιας έρευνας.
• Εφαρμόστε βιομηχανικές λύσεις αποθήκευσης και επεξεργασίας μεγάλων δεδομένων για ανάλυση δεδομένων.
• Προετοιμασία πρότασης για την υιοθέτηση των καταλληλότερων εργαλείων και διαδικασιών για να καταστεί δυνατή μια προσέγγιση βάσει δεδομένων για την ποινική έρευνα.

Το Big Data είναι ένα όρος που αναφέρεται σε λύσεις που προορίζονται για την αποθήκευση και επεξεργασία μεγάλων συνόλων δεδομένων. Αναπτύχθηκαν αρχικά από τη Google, αυτές οι λύσεις Big Data εξελίχθηκαν και έφεραν σε εμφάνιση άλλα παρόμοια έγχειρήματα, από τα οποία πολλά είναι διαθέσιμα ως open-source. Το R είναι μια δημοφιλής γλώσσα προγραμματισμού στη βιομηχανία των χρηματοπιστωτικών υπηρεσιών.

Όταν οι παραδοσιακές τεχνολογίες αποθήκευσης δεν αντιμετωπίζουν το όγκο δεδομένων που χρειάζεστε, υπάρχουν εκατόντα εναλλακτικές λύσεις. Αυτή η μάθηση προσπαθεί να καθοδηγήσει τους συμμετέχοντες ως προς τι είναι αλληλογενείς λύσεις για την αποθήκευση και ανάλυση Μεγάλων Δεδομένων (Big Data) και ποια είναι τα πλεονεκτικά και μειονεκτικά τους.

Αυτή η μάθηση εστιάζεται κυρίως σε συζήτηση και παρουσίαση λύσεων, από όπου τα εκτεταμένα άσκημα είναι διαθέσιμα με αίτηση.

Το μάθημα αποτελεί μέρος του συνόλου δεξιοτήτων Data Scientist (Domain: Data and Technology).

Αυτή η εκπαιδευτική συνεδρία βασισμένη στην τάξη θα εξερευνήσει το Big Data. Οι εκπρόσωποι θα έχουν παραδείγματα βασισμένων σε υπολογιστή και ασκήσεις περιπτωσιολογικής μελέτης για να αναλάβουν με σχετικά εργαλεία μεγάλων δεδομένων

Κοινό

Αν προσπαθήσετε να κατανοήσετε τα δεδομένα στα οποία έχετε πρόσβαση ή θέλετε να αναλύσετε μη δομημένα δεδομένα που είναι διαθέσιμα στο διαδίκτυο (όπως το Twitter, το Linked in, κ.λπ.), αυτό το μάθημα απευθύνεται σε εσάς.

Στόχος είναι κυρίως οι υπεύθυνοι λήψης αποφάσεων και οι άνθρωποι που πρέπει να επιλέξουν ποια δεδομένα αξίζει να συλλέξουν και τι αξίζει να αναλύσουμε.

Δεν στοχεύει στους ανθρώπους να διαμορφώσουν τη λύση, αλλά αυτοί θα επωφεληθούν από τη μεγάλη εικόνα.

Λειτουργία παράδοσης

Κατά τη διάρκεια του μαθήματος οι εκπρόσωποι θα παρουσιαστούν με παραδείγματα εργασίας για τις περισσότερες τεχνολογίες ανοιχτού κώδικα.

Οι σύντομες διαλέξεις θα ακολουθούνται από παρουσίαση και απλές ασκήσεις από τους συμμετέχοντες

Το περιεχόμενο και το λογισμικό που χρησιμοποιήθηκαν

Όλο το λογισμικό που χρησιμοποιείται ενημερώνεται κάθε φορά που εκτελείται το μάθημα, έτσι ελέγχουμε τις πιο πρόσφατες εκδόσεις.

Καλύπτει τη διαδικασία από την απόκτηση, τη μορφοποίηση, την επεξεργασία και την ανάλυση των δεδομένων, για να εξηγήσει πώς αυτοματοποιείται η διαδικασία λήψης αποφάσεων με τη μηχανική μάθηση.

Τα μεγάλα δεδομένα είναι σύνολα δεδομένων που είναι τόσο ογκώδη και περίπλοκα που το παραδοσιακό λογισμικό εφαρμογών επεξεργασίας δεδομένων είναι ανεπαρκές για την αντιμετώπισή τους. Οι μεγάλες προκλήσεις δεδομένων περιλαμβάνουν τη συλλογή δεδομένων, την αποθήκευση δεδομένων, την ανάλυση δεδομένων, την αναζήτηση, την κοινή χρήση, τη μεταφορά, την οπτικοποίηση, την αναζήτηση, την ενημέρωση και την προστασία της ιδιωτικής ζωής των πληροφοριών.

Ο κούρσος είναι προσανατολισμένος σε IT ειδικούς που αναζητούν λύσεις για τη αποθήκευση και επεξεργασία μεγάλων συνόλων δεδομένων σε περιβάλλον διανεμημένων συστημάτων

Στόχος του κούρσου:

Απόκτηση γνώσεων για την διαχείριση Hadoop cluster

Apache Hadoop είναι το πιο δημοφιλές πλαίσιο για επεξεργασία Big Data σε κλάστερ από server. Σε αυτή την διάρκεια 3 (επιλεγμένως 4) μέρες, οι εκδοτικοί θα μάθουν για τους επιχειρηματικούς πλεονεκτήματα και τις περιπτώσεις χρήσης Hadoop και του οικοσυστήματός του, πώς να επιχειρήσουν τη διάθεση κλάστερ και την ανάπτυξη, πώς να εγκαταστήσουν, διατηρήσουν, έχουν στο ρίχτωμα, διορθώσουν και τελειώσουν Hadoop. Θα πρακτικάρουν μεγάλη φόρτωση δεδομένων σε κλάστερ, θα γίνουν ευφυή με διάφορες διανομές Hadoop, και θα πρακτικάρουν την εγκατάσταση και τη διαχείριση εργαλείων του οικοσυστήματος Hadoop. Η διάθεση λήγει με συζήτηση για τον έλεγχο ασφαλείας κλάστερ με Kerberos.

"Τα υλικά ήταν πολύ επιτυχημένα διατυπωμένα και εξαναγκάστηκαν. Το Lab ήταν πολύ χρήσιμο και καλά συνταγμένο"— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Ακροατής

Hadoop διαχειριστές

Σχεδιασμός

Ομιλίες και προκειμένα υποψήφια αυξητικά, περίπου 60% ομιλίες, 40% εργαστηριακό.

Το Apache Hadoop είναι το πιο δημοφιλές πλαίσιο για την επεξεργασία Μεγάλων Δεδομένων (Big Data) σε κλυστές server. Αυτό το μάθημα θα παρουσιάσει σε έναν προγραμματιστή διάφορα συστατικά (HDFS, MapReduce, Pig, Hive και HBase) της οικογένειας Hadoop.

To Apache Hadoop είναι ένα από τα πιο δημοφιλή πλαίσια για την επεξεργασία Μεγάλων Δεδομένων σε κλυτέρες διακομιστών. Αυτός ο μαθητικός δρόμος εξερευνά τη διαχείριση δεδομένων στο HDFS, προηγμένα Pig, Hive και HBase. Αυτές οι προηγμένες τεχνικές προγραμματισμού είναι ωφέλιμες για τους διαθετικούς προγραμματιστές Hadoop.

Ακροατήριο: προγραμματιστές

Διάρκεια: τρία ημέρες

Μορφή: διαλέξεις (50%) και εργαστήρια με χειρονομία (50%).

Δημόσια:

Αυτή η επιμέθειξη σχεδιάστηκε για να απλοποιήσει την τεχνολογία big data/hadoop και να δείξει ότι δεν είναι δύσκολο να την κατανοήσεις.

Αυτή η εκπαιδευτική κατεύθυνση, που διεξάγεται από εκπαιδευτικό (σε διαδίκτυο ή εντός του χώρου), απευθύνεται σε διαχετικούς που θέλουν να μάθουν πώς να ρυθμίσουν, να εγκαταστήσουν και να διαχειριστούν συνόλων Hadoop στην οργάνωσή τους.

Είναι προφανές ότι, μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα έχουν τη δυνατότητα να:

• Εγκαθιστήσουν και να ρυθμίσουν το Apache Hadoop.
• Να καταλάβουν τα τέσσερα βασικά συστατικά στην οικογένεια Hadoop: HDFS, MapReduce, YARN, και Hadoop Common.
• Να χρησιμοποιήσουν το Hadoop Distributed File System (HDFS) για να εκτελέσουν σχόλια που μπορούν να ανέρχονται έως εκατό ή χιλίαδες κόμβους.  
• Να ρυθμίσουν το HDFS ως μηχανή αποθήκευσης για εγκατεστημένες εφαρμογές Spark.
• Να ρυθμίσουν το Spark για να πρόσπεσε σε εναλλακτικά κράτη αποθήκευσης, όπως η Amazon S3 και τα συστήματα βάση δεδομένων NoSQL (Redis, Elasticsearch, Couchbase, Aerospike, κλπ.).
• Να εκτελέσουν διαχειριστικές πράξεις όπως η κατοχή, διαχείριση, παρακολούθηση και ασφάλιση ενός συνόλου Apache Hadoop.

Αυτό το μάθημα παρουσιάζει το HBase – ένα NoSQL καταστήμα στο κορύφωμα του Hadoop. Το μάθημα απευθύνεται σε προγραμματιστές που θα χρησιμοποιήσουν το HBase για να αναπτύξουν εφαρμογές και σε διαχειριστές που θα διαχειρίζονται ομάδες HBase.

Θα διεξαχθεί μια διευγμένη περιήγηση στην αρχιτεκτονική του HBase, το μοντέλο δεδομένων και την ανάπτυξη εφαρμογών πάνω στο HBase. Θα συζητήσουμε επίσης τη χρήση MapReduce με HBase και ορισμένα θέματα διαχείρισης που σχετίζονται με την βελτιστοποίηση των επιδόσεων. Το μάθημα είναι πολύ χειροντικό, με αρκετές άσκησεις εργαστηρίου.

Duration : 3 ημέρες

Audience : Προγραμματιστές  & Διαχειριστές

Σε αυτή την εκπαίδευση με οδηγό (ζωντανή, χώρος καθώς και από απόσταση), οι συμμετέχοντες θα μάθουν πώς να ρύθμισουν και να ενσωματώσουν διάφορους πλαίσια Επεξεργασίας Ροών σε υπάρχουσες συστήματα αποθήκευσης μεγάλων δεδομένων και συναφείς εφαρμογές λογισμικού και μικρουπηρετικά.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Εγκαταστήσουν και ρυθμίσουν διάφορα πλαίσια Επεξεργασίας Ροών, όπως το Spark Streaming και Kafka Streaming.
• Κατανοήσουν και να επιλέξουν το πιο κατάλληλο πλαίσιο για την εργασία.
• Επεξεργάζονται δεδομένα συνεχώς, παράλληλα και αναγραφή-πάνω.
• Ενσωματώνουν λύσεις Επεξεργασίας Ροών σε υπάρχουσες βάσεις δεδομένων, data warehouses, data lakes, κλπ.
• Ενσωματώνουν την πιο κατάλληλη βιβλιοθήκη επεξεργασίας ροών με επιχειρηματικές εφαρμογές και μικρουπηρετικά.

Αυτή η επιβλέπουμενη από διδάσκοντα, ζωντανή εκπαίδευση στο Ελλάδα (online ή on-site) απευθύνεται σε τεχνικό προσωπικό που θέλει να μάθει πώς να εφαρμόσει μια στρατηγική για τη μηχανική μάθηση, αξιοποιώντας πλήρως τα μεγάλα δεδομένα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα:

• Κατανοήσουν την εξέλιξη και τις τάσεις για τη μηχανική μάθηση.
• Θα ξέρουν πώς χρησιμοποιείται η μηχανική μάθηση σε διάφορους τομείς.
• Θα γίνουν περιέργεις με τα εργαλεία, τις ικανότητες και τις υπηρεσίες που είναι διαθέσιμες για να εφαρμοστεί η μηχανική μάθηση σε μια οργάνωση.
• Θα κατανοήσουν πώς μπορεί να χρησιμοποιηθεί η μηχανική μάθηση για τη βελτίωση της εξόρυξης και ανάλυσης δεδομένων.
• Θα μάθουν τι είναι ο πλατφόρμας δεδομένων στο μεταξύ, και πώς χρησιμοποιείται από επιχειρήσεις.
• Θα κατανοήσουν τον ρόλο που έχουν σημαντικά δεδομένα και νοημοσύνες εφαρμογών σε διάφορους τομείς.

O Apache NiFi είναι ένα open-source πλατφόρμα ροής δεδομένων και επεξεργασίας γεγονότων. Ειδυλλιώνει την αυτόματη, πραγματικής χρονικής διάστασης μεταφορά, μετασχηματισμό και ενδιάμεση μέση επεξεργασία δεδομένων μεταξύ ένων διαφορετικών συστημάτων, με χρήση πλατφόρμας με γραφικό περιβάλλον και λεπτομερή ελέγχου.

Αυτή η διδασκαλία υπό την οδηγία του εκπαιδευτικού (χώρος και απομακρυσμένα) απευθύνεται σε διοικητές και μηχανικούς μεδίου επιπέδου, οι οποίοι επιθυμούν να εφαρμόσουν, να διαχειριστούν, να ασφαλίσουν και να βελτιστοποιήσουν ροές δεδομένων NiFi σε παραγωγικά περιβάλλοντα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εγκαταστήσουν, να ρυθμίσουν και να διατηρήσουν συστήματα συστήματος Apache NiFi.
• Σχεδιάσουν και να διαχειρίζονται ροές δεδομένων από διάφορες πηγές και θερμοκρασίες.
• Εφαρμόσουν λογική αυτοματοποίησης, διαδρομής και μετασχηματισμού ροής.
• Βελτιστοποιήσουν την απόδοση, να παρακολουθήσουν τις λειτουργίες και να εξασφαλίσουν χαλάρωση προβλημάτων.

Μορφή του Μαθήματος

• Αλληλεπιδραστική παράσταση με συζήτηση αρχιτεκτονικής πραγματικού κόσμου.
• Εργασίες χειρονομήτρου: κατασκευή, εφαρμογή και διαχείριση ροών.
• Ασκήσεις με σενάρια σε ζωντανό περιβάλλον εργαστηρίου.

Επιλογές Προσαρμογής Μαθήματος

• Για να κάνετε αίτηση για προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Σε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του προγραμματισμού που βασίζεται στη ροή καθώς αναπτύσσουν έναν αριθμό από επεκτάσεις επίδειξης, στοιχεία και επεξεργαστές χρησιμοποιώντας το Apache NiFi.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική του NiFi και τις έννοιες ροής δεδομένων.
• Αναπτύξτε επεκτάσεις χρησιμοποιώντας NiFi και API τρίτων.
• Προσαρμοσμένα αναπτύσσουν τον δικό τους επεξεργαστή Apache Nifi.
• Απορροφήστε και επεξεργαστείτε δεδομένα σε πραγματικό χρόνο από διαφορετικές και ασυνήθιστες μορφές αρχείων και πηγές δεδομένων.

Αυτή η εκπαίδευση με εξηγητή, ζωντανά σε Ελλάδα (online ή on-site), απευθύνεται σε επιστήμονες δεδομένων που θέλουν να χρησιμοποιήσουν το στακ SMACK για να κατασκευάσουν πλατφόρμες επεξεργασίας δεδομένων για λύσεις μεγάλων δεδομένων.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Εφαρμόσουν μια αρχιτεκτονική διαδίκτυου δεδομένων για την επεξεργασία μεγάλων δεδομένων.
• Αναπτύξουν υποδομή κλαστηρικής τόπου με Apache Mesos και Docker.
• Ανάλυση δεδομένων με Spark και Scala.
• Διαχείριση ανοργανωμένων δεδομένων με Apache Cassandra.

Αυτή η οδηγία υπό διδασκαλία (online ή on-site) απευθύνεται σε μηχανικούς που επιθυμούν να εγκαταστήσουν και να διαχειριστούν το σύστημα Apache Spark για την επεξεργασία πολύ μεγάλων ποσοτήτων δεδομένων.

Στο τέλος αυτής της κατάρτισης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστάσει και διαμόρφωση του Apache Spark.
• Γρήγορη επεξεργασία και ανάλυση πολύ μεγάλων συνόλων δεδομένων.
• Κατανόηση της διαφοράς μεταξύ του Apache Spark και του Hadoop MapReduce, καθώς και πότε να χρησιμοποιήσουν αυτό ή εκείνο.
• Ενσωμάτωση του Apache Spark με άλλες εργαλεία μηχανικής μάθησης.

Η καμπύλη μάθηση του Apache Spark αρχικά είναι ξεκούραση, χρειάζεται πολλή προσπάθεια για να πάρει κανείς το πρώτο αποδότημα. Αυτό το μάθημα στοχεύει να διέλθει τον πρώτο δύσκολο τομέα. Μετά από τη συμμετοχή σε αυτό το μάθημα, οι συμμετέχοντες θα καταλάβουν τις βασικές εννοιές του Apache Spark, θα διακρίνουν με ακρίβεια το RDD από το DataFrame, θα μάθουν τη Python και Scala API, θα καταλάβουν εκτελεστές και εργασίες, κ.α. Επιπλέον, ακολουθώντας τις καλύτερες πρακτικές, αυτό το μάθημα εστιάζει ιδιαίτερα στην υπολογιστική στην Σύνθεση, Databricks και AWS. Οι φοιτητές θα καταλάβουν επίσης τις διαφορές μεταξύ AWS EMR και AWS Glue, μία από τις πιο πρόσφατες υπηρεσίες Spark του AWS.

ΔΙΕΥΘΥΝΤΗΣ:

Data Engineer, DevOps, Data Scientist

ΣΚΟΠΟΣ:

Αυτό το μάθημα θα παρουσιάσει το Apache Spark. Οι φοιτητές θα μάθουν πώς το Spark ενσωματώνεται στο οικοσύστημα Big Data και πώς να χρησιμοποιήσουν το Spark για ανάλυση δεδομένων. Το μάθημα καλύπτει το ενεργό σκέλος του Spark για αλληλεπίδραση με δεδομένα, τα εσωτερικά του Spark, τις API του Spark, το Spark SQL, τη ρύθμιση χρόνου του Spark και ο μηχανισμός μάθησης και γράφων GraphX.

ΑΝΤΙΚΕΙΜΕΝΟ :

Προγραμματιστές / Αναλυτές Δεδομένων

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Spark NLP, που βασίζεται στο Apache Spark, για να αναπτύξουν, να εφαρμόσουν και να κλιμακώσουν την επεξεργασία κειμένου σε φυσική γλώσσα μοντέλα και αγωγούς.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε την κατασκευή αγωγών NLP με το Spark NLP.
• Κατανοήστε τα χαρακτηριστικά, την αρχιτεκτονική και τα οφέλη από τη χρήση του Spark NLP.
• Χρησιμοποιήστε τα προεκπαιδευμένα μοντέλα που είναι διαθέσιμα στο Spark NLP για να εφαρμόσετε την επεξεργασία κειμένου.
• Μάθετε πώς να κατασκευάζετε, εκπαιδεύετε και κλιμακώνετε μοντέλα Spark NLP για έργα παραγωγής.
• Εφαρμογή ταξινόμησης, συμπερασμάτων και ανάλυσης συναισθήματος σε περιπτώσεις χρήσης πραγματικού κόσμου (κλινικά δεδομένα, πληροφορίες συμπεριφοράς πελατών, κ.λπ.).

O Spark SQL είναι ένας μόδουλος του Apache Spark για να εργάζεται με δομημένα και ανεξάρτητα σε δομή δεδομένα. Ο Spark SQL παρέχει πληροφορίες για τη δομή των δεδομένων καθώς και την εκτέλεση των υπολογισμών. Αυτές οι πληροφορίες μπορούν να χρησιμοποιηθούν για να διεξαχθούν βελτιώσεις. Δύο συνηθισμένες χρήσεις του Spark SQL είναι:
- η εκτέλεση SQL ερωτήσεων.
- η ανάγνωση δεδομένων από υπάρχουσες εγκαταστάσεις Hive.

Σε αυτή την καθοδηγούμενη από καθηγητή, ζωντανή εκπαίδευση (χώρου υποδοχής ή από αποστάση), οι συμμετέχοντες θα μάθουν πώς να αναλύουν διάφορους τύπους συνόλων δεδομένων χρησιμοποιώντας Spark SQL.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Να εγκαθιστούν και να ρυθμίζουν το Spark SQL.
• Να διεξάγουν ανάλυση δεδομένων με το Spark SQL.
• Να ερωτήσουν σύνολα δεδομένων σε διάφορα μορφώματα.
• Να οπτικοποιούν δεδομένα και αποτελέσματα ερωτήσεων.

Μορφή του Μαθήματος

• Διαδραστικός διάλεξη και συζήτηση.
• Πολλά ασκήματα και πράξη.
• Χειρονομία εφαρμογής σε ζωντανό lab-περιβάλλον.

Ευκαιρίες Προσαρμογής του Μαθήματος

• Για να ζητήσετε μια προσαρμογμένη εκπαίδευση για αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να κάνετε οργάνωση.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακά ή επιτόπου) απευθύνεται σε τεχνικά πρόσωπα που επιθυμούν να αναπτύξουν το Talend Open Studio for Big Data για να απλοποιήσουν τη διαδικασία ανάγνωσης και ανάλυσης Big Data.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Talend Open Studio για Big Data.
• Συνδεθείτε με συστήματα Big Data όπως τα Cloudera, HortonWorks, MapR, Amazon EMR και Apache.
• Κατανοήστε και ρυθμίστε τα στοιχεία και τις συνδέσεις μεγάλων δεδομένων του Open Studio.
• Διαμορφώστε τις παραμέτρους για αυτόματη δημιουργία κώδικα MapReduce.
• Χρησιμοποιήστε τη διεπαφή μεταφοράς και απόθεσης του Open Studio για να εκτελέσετε εργασίες Hadoop.
• Πρωτότυπο αγωγών μεγάλων δεδομένων.
• Αυτοματοποιήστε έργα ενοποίησης μεγάλων δεδομένων.