IBM Datastage For Administrators and Developers Training Course

Σε αυτή τη ζωντανή εκπαίδευση που καθοδηγείται από εκπαιδευτές στο Ελλάδα, οι συμμετέχοντες θα μάθουν πώς να δημιουργούν ένα Data Vault.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε τις έννοιες της αρχιτεκτονικής και του σχεδιασμού πίσω από το Data Vault 2.0 και την αλληλεπίδρασή του με τα Big Data, NoSQL και AI.
• Χρησιμοποιήστε τεχνικές αποθήκευσης δεδομένων για να ενεργοποιήσετε τον έλεγχο, την ανίχνευση και την επιθεώρηση ιστορικών δεδομένων σε μια αποθήκη δεδομένων.
• Αναπτύξτε μια συνεπή και επαναλαμβανόμενη διαδικασία ETL (Extract, Transform, Load).
• Δημιουργία και ανάπτυξη αποθηκών υψηλής κλιμάκωσης και επαναλήψεων.

Το μάθημα αποτελεί μέρος του συνόλου δεξιοτήτων Data Scientist (Domain: Data and Technology).

Apache Druid είναι ένα ανοικτού πηγαίου κώδικα, κατανεμημένο σε στήλη, κατανεμημένο κατάστημα δεδομένων που είναι γραμμένο σε Java . Σχεδιάστηκε έτσι ώστε να απορροφάει γρήγορα μεγάλες ποσότητες δεδομένων συμβάντων και να εκτελεί ερωτήματα OLAP χαμηλής καθυστέρησης σε αυτά τα δεδομένα. Το Druid χρησιμοποιείται συνήθως στις εφαρμογές επιχειρηματικής ευφυΐας για την ανάλυση μεγάλου όγκου δεδομένων σε πραγματικό χρόνο και ιστορικών δεδομένων. Είναι επίσης κατάλληλο για την τροφοδοσία γρήγορων, διαδραστικών, αναλυτικών πινάκων ελέγχου για τελικούς χρήστες. Το Druid χρησιμοποιείται από εταιρείες όπως το Alibaba, το Airbnb, η Cisco , το eBay, το Netflix, το Paypal και το Yahoo.

Σε αυτήν την καθοδηγούμενη από εκπαιδευτή, ζωντανή πορεία, εξετάζουμε ορισμένους από τους περιορισμούς των λύσεων αποθήκης δεδομένων και συζητούμε πώς ο Druid μπορεί να επαινέσει αυτές τις τεχνολογίες για να σχηματίσει μια ευέλικτη και κλιμακούμενη στοίβα αναλυτικών ροών. Περνάμε πολλά παραδείγματα, προσφέροντας στους συμμετέχοντες την ευκαιρία να εφαρμόσουν και να δοκιμάσουν λύσεις Druid με βάση το εργαστήριο.

Μορφή του μαθήματος

• Διάλεξη μέρους, συζήτηση μέρος, βαριά πρακτική πρακτική, περιστασιακές δοκιμές για να μετρήσετε την κατανόηση

Apache Kylin είναι μια ακραία, διανεμημένη μηχανή ανάλυσης για τα μεγάλα δεδομένα.

Σε αυτή την άσκηση σε απευθείας σύνδεση με εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν Apache Kylin για να εγκαταστήσουν μια αποθήκη δεδομένων σε πραγματικό χρόνο.

Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

• Καταναλώστε δεδομένα streaming σε πραγματικό χρόνο χρησιμοποιώντας την Kylin
• Χρησιμοποιήστε Apache Kylin's ισχυρές ιδιότητες,πλούσια SQL διεπαφή, κουβέντα σπάρκ και υποσυνδρομητική ακυρότητα αναζήτησης

Σημείωση

• Χρησιμοποιούμε την πιο πρόσφατη έκδοση του Kylin (σύμφωνα με αυτό το γράμμα, Apache Kylin v2.0)

Δημοσιογράφος

• Μεγάλοι Μηχανικοί Δεδομένων
• Big Data Αναλυτές

Η μορφή της πορείας

• Μερικές διαλέξεις, μερικές συζητήσεις, ασκήσεις και σκληρές πρακτικές

Το Mem SQL είναι ένα διαχειριζόμενο σύστημα διαχείρισης βάσεων δεδομένων SQL για το cloud και στο εσωτερικό. Είναι μια αποθήκη δεδομένων σε πραγματικό χρόνο που παρέχει άμεσα πληροφορίες από ζωντανά και ιστορικά δεδομένα.

Σε αυτή την καθοδηγούμενη από εκπαιδευτή, ζωντανή εκπαίδευση, οι συμμετέχοντες θα μάθουν τα βασικά στοιχεία του Mem SQL για ανάπτυξη και διοίκηση.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Κατανοήστε τις βασικές έννοιες και τα χαρακτηριστικά του Mem SQL
• Εγκαταστήστε, σχεδιάστε, συντηρήστε και λειτουργήστε Mem SQL
• Βελτιστοποιήστε τα σχήματα στο Mem SQL
• Βελτιώστε τα ερωτήματα στο Mem SQL
• Απόδοση benchmark σε Mem SQL
• Δημιουργήστε εφαρμογές δεδομένων σε πραγματικό χρόνο χρησιμοποιώντας Mem SQL

Κοινό

• Προγραμματιστές
• Διαχειριστές
• Μηχανικοί Λειτουργίας

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Το Amazon Redshift είναι μια υπηρεσία αποθήκης δεδομένων σε κλίμακα petabyte που βασίζεται σε σύννεφο στο AWS.

Σε αυτή τη ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν τις βασικές αρχές του Amazon Redshift.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

Εγκατάσταση και διαμόρφωση Amazon Redshift Φόρτωση, διαμόρφωση, ανάπτυξη, αναζήτηση και οπτικοποίηση δεδομένων με το Amazon Redshift

Ακροατήριο

Προγραμματιστές Επαγγελματίες Πληροφορικής

Μορφή του μαθήματος

Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και βαριά πρακτική εξάσκηση

Σημείωση

Για να ζητήσετε μια εξατομικευμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσουμε.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να δημιουργήσουν μια βάση δεδομένων Greenplum πολλαπλών κόμβων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Pivotal Greenplum.
• Μοντελοποίηση δεδομένων σύμφωνα με τις τρέχουσες ανάγκες και τα μελλοντικά σχέδια επέκτασης.
• Εφαρμόστε διαφορετικές τεχνικές για τη διανομή δεδομένων σε πολλούς κόμβους.
• Βελτιώστε την απόδοση της βάσης δεδομένων μέσω συντονισμού.
• Παρακολούθηση και αντιμετώπιση προβλημάτων μιας βάσης δεδομένων Greenplum.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε διαχειριστές που επιθυμούν να δημιουργήσουν Greenplum Database λύσεις επιχειρηματικής ευφυΐας και αποθήκευσης δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Αντιμετωπίστε τις ανάγκες επεξεργασίας με την Greenplum.
• Εκτελέστε λειτουργίες ETL για επεξεργασία δεδομένων.
• Αξιοποιήστε τις υπάρχουσες υποδομές επεξεργασίας ερωτημάτων.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων μεσαίου επιπέδου που επιθυμούν να μάθουν πώς να χρησιμοποιούν το Azure Data Lake Storage Gen2 για αποτελεσματικές λύσεις ανάλυσης δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Κατανοήστε την αρχιτεκτονική και τα βασικά χαρακτηριστικά του Azure Data Lake Storage Gen2.
• Βελτιστοποιήστε την αποθήκευση δεδομένων και την πρόσβαση για κόστος και απόδοση.
• Ενσωματώστε το Azure Data Lake Storage Gen2 με άλλες Azure υπηρεσίες για ανάλυση και επεξεργασία δεδομένων.
• Αναπτύξτε λύσεις χρησιμοποιώντας το API Azure Data Lake Storage Gen2.
• Αντιμετωπίστε κοινά προβλήματα και βελτιστοποιήστε τις στρατηγικές αποθήκευσης.

To meet compliance of the regulators, CSPs (Communication service providers) can tap into Big Data Analytics which not only help them to meet compliance but within the scope of same project they can increase customer satisfaction and thus reduce the churn. In fact since compliance is related to Quality of service tied to a contract, any initiative towards meeting the compliance, will improve the “competitive edge” of the CSPs. Therefore, it is important that Regulators should be able to advise/guide a set of Big Data analytic practice for CSPs that will be of mutual benefit between the regulators and CSPs.

The course consists of 8 modules (4 on day 1, and 4 on day 2)

Η πρόοδος στις τεχνολογίες και ο αυξανόμενος όγκος πληροφοριών μεταμορφώνουν τον τρόπο με τον οποίο διεξάγονται οι επιχειρήσεις σε πολλούς κλάδους, συμπεριλαμβανομένης της κυβέρνησης. GoΤα ποσοστά παραγωγής κρατικών δεδομένων και ψηφιακής αρχειοθέτησης αυξάνονται λόγω της ταχείας ανάπτυξης των φορητών συσκευών και εφαρμογών, των έξυπνων αισθητήρων και συσκευών, των λύσεων υπολογιστικού νέφους και των πυλών που απευθύνονται στους πολίτες. Καθώς οι ψηφιακές πληροφορίες επεκτείνονται και γίνονται πιο περίπλοκες, η διαχείριση, η επεξεργασία, η αποθήκευση, η ασφάλεια και η διάθεση πληροφοριών γίνονται επίσης πιο περίπλοκες. Νέα εργαλεία σύλληψης, αναζήτησης, ανακάλυψης και ανάλυσης βοηθούν τους οργανισμούς να αποκτήσουν πληροφορίες από τα μη δομημένα δεδομένα τους. Η κρατική αγορά βρίσκεται σε οριακό σημείο, συνειδητοποιώντας ότι οι πληροφορίες είναι στρατηγικό πλεονέκτημα και ότι η κυβέρνηση πρέπει να προστατεύει, να αξιοποιεί και να αναλύει τόσο δομημένες όσο και μη δομημένες πληροφορίες για την καλύτερη εξυπηρέτηση και κάλυψη των απαιτήσεων της αποστολής. Καθώς οι κυβερνητικοί ηγέτες προσπαθούν να εξελίξουν οργανισμούς που βασίζονται σε δεδομένα για να ολοκληρώσουν με επιτυχία την αποστολή τους, θέτουν τις βάσεις για να συσχετίσουν εξαρτήσεις μεταξύ συμβάντων, ανθρώπων, διαδικασιών και πληροφοριών.

Κυβερνητικές λύσεις υψηλής αξίας θα δημιουργηθούν από έναν συνδυασμό των πιο ενοχλητικών τεχνολογιών:

Κινητές συσκευές και εφαρμογές Υπηρεσίες cloud Τεχνολογίες και δικτύωση κοινωνικών επιχειρήσεων Big Data και αναλυτικά στοιχεία

Η IDC προβλέπει ότι έως το 2020, η βιομηχανία πληροφορικής θα φτάσει τα 5 τρισεκατομμύρια δολάρια, περίπου 1,7 τρισεκατομμύρια δολάρια μεγαλύτερη από σήμερα, και ότι το 80% της ανάπτυξης του κλάδου θα καθοδηγείται από αυτές τις τεχνολογίες 3ης Πλατφόρμας. Μακροπρόθεσμα, αυτές οι τεχνολογίες θα αποτελέσουν βασικά εργαλεία για την αντιμετώπιση της πολυπλοκότητας της αυξημένης ψηφιακής πληροφορίας. Το Big Data είναι μία από τις έξυπνες λύσεις του κλάδου και επιτρέπει στην κυβέρνηση να λαμβάνει καλύτερες αποφάσεις αναλαμβάνοντας δράση βάσει μοτίβων που αποκαλύπτονται από την ανάλυση μεγάλου όγκου δεδομένων — σχετικών και άσχετων, δομημένων και μη δομημένων.

Αλλά η ολοκλήρωση αυτών των κατορθωμάτων απαιτεί πολύ περισσότερα από την απλή συσσώρευση τεράστιων ποσοτήτων δεδομένων. «Η κατανόηση αυτών των τόμων Big Dataαπαιτεί εργαλεία και τεχνολογίες αιχμής που μπορούν να αναλύσουν και να εξάγουν χρήσιμη γνώση από τεράστια και ποικίλα ρεύματα πληροφοριών», ο Tom Kalil και Ο Φεν Ζάο του Γραφείου Πολιτικής Επιστήμης και Τεχνολογίας του Λευκού Οίκου έγραψε σε μια ανάρτηση στο ιστολόγιο OSTP.

Ο Λευκός Οίκος έκανε ένα βήμα για να βοηθήσει τις υπηρεσίες να βρουν αυτές τις τεχνολογίες όταν ίδρυσε την Εθνική Big Data Πρωτοβουλία Έρευνας και Ανάπτυξης το 2012. Η πρωτοβουλία περιλάμβανε περισσότερα από 200 εκατομμύρια δολάρια για να αξιοποιήσουν στο έπακρο την έκρηξη του Big Data και τα εργαλεία που απαιτούνται για αναλύστε το.

Οι προκλήσεις που θέτει το Big Data είναι σχεδόν τόσο τρομακτικές όσο και ενθαρρυντική η υπόσχεσή του. Η αποτελεσματική αποθήκευση δεδομένων είναι μία από αυτές τις προκλήσεις. Όπως πάντα, οι προϋπολογισμοί είναι περιορισμένοι, επομένως οι εταιρείες πρέπει να ελαχιστοποιήσουν την τιμή αποθήκευσης ανά megabyte και να διατηρούν τα δεδομένα σε εύκολη πρόσβαση, ώστε οι χρήστες να μπορούν να τα λαμβάνουν όποτε τα θέλουν και όπως τα χρειάζονται. Η δημιουργία αντιγράφων ασφαλείας τεράστιων ποσοτήτων δεδομένων εντείνει την πρόκληση.

Η αποτελεσματική ανάλυση των δεδομένων είναι μια άλλη σημαντική πρόκληση. Πολλά πρακτορεία χρησιμοποιούν εμπορικά εργαλεία που τους επιτρέπουν να περνούν από τα βουνά των δεδομένων, εντοπίζοντας τάσεις που μπορούν να τους βοηθήσουν να λειτουργούν πιο αποτελεσματικά. (Μια πρόσφατη μελέτη από το MeriTalk διαπίστωσε ότι τα ομοσπονδιακά στελέχη IT πιστεύουν ότι Big Data θα μπορούσαν να βοηθήσουν τους οργανισμούς να εξοικονομήσουν περισσότερα από 500 δισεκατομμύρια δολάρια, εκπληρώνοντας ταυτόχρονα τους στόχους της αποστολής.).

Τα προσαρμοσμένα αναπτυγμένα εργαλεία Big Data επιτρέπουν επίσης στους οργανισμούς να αντιμετωπίσουν την ανάγκη ανάλυσης των δεδομένων τους. Για παράδειγμα, η Ομάδα Υπολογιστικών Δεδομένων Αναλύσεων του Εθνικού Εργαστηρίου Oak Ridge έχει διαθέσει το σύστημα ανάλυσης δεδομένων Piranha σε άλλους φορείς. Το σύστημα βοήθησε τους ιατρικούς ερευνητές να βρουν έναν σύνδεσμο που μπορεί να ειδοποιήσει τους γιατρούς για τα ανευρύσματα της αορτής πριν χτυπήσουν. Χρησιμοποιείται επίσης για πιο συνηθισμένες εργασίες, όπως η αναζήτηση βιογραφικών για τη σύνδεση υποψηφίων θέσεων εργασίας με διευθυντές προσλήψεων.

Ημέρα 1 - παρέχει μια επισκόπηση υψηλού επιπέδου των βασικών θεματικών τομέων Big Data . Η ενότητα χωρίζεται σε μια σειρά τμημάτων, καθένα από τα οποία συνοδεύεται από πρακτική άσκηση.

Ημέρα 2 - διερευνά μια σειρά θεμάτων που σχετίζονται με τις πρακτικές και τα εργαλεία ανάλυσης για περιβάλλοντα Big Data . Δεν λαμβάνει πληροφορίες σχετικά με την εφαρμογή ή το προγραμματισμό, αλλά διατηρεί την κάλυψη σε εννοιολογικό επίπεδο, εστιάζοντας σε θέματα που επιτρέπουν στους συμμετέχοντες να αναπτύξουν μια ολοκληρωμένη κατανόηση των κοινών λειτουργιών ανάλυσης και των χαρακτηριστικών που προσφέρουν οι λύσεις Big Data .

Ημέρα 3 - παρέχει μια επισκόπηση των θεμελιωδών και βασικών θεματικών πεδίων που σχετίζονται με την αρχιτεκτονική πλατφόρμα λύσεων Big Data . Καλύπτει τους μηχανισμούς Big Data απαιτούνται για την ανάπτυξη μιας πλατφόρμας λύσεων Big Data και αρχιτεκτονικές επιλογές για τη συναρμολόγηση μιας πλατφόρμας επεξεργασίας δεδομένων. Παρουσιάζονται επίσης κοινά σενάρια που παρέχουν μια βασική κατανόηση του τρόπου με τον οποίο χρησιμοποιείται γενικά μια πλατφόρμα λύσεων Big Data .

Ημέρα 4 - βασίζεται στην Ημέρα 3 με την εξερεύνηση προηγμένων θεμάτων που σχετίζονται με την αρχιτεκτονική πλατφόρμας λύση Big Data . Συγκεκριμένα, εισάγονται και συζητούνται διαφορετικά αρχιτεκτονικά στρώματα που αποτελούν την πλατφόρμα λύσεων Big Data , συμπεριλαμβανομένων πηγών δεδομένων, εισόδου δεδομένων, αποθήκευσης δεδομένων, επεξεργασίας δεδομένων και ασφάλειας.

Ημέρα 5 - καλύπτει μια σειρά ασκήσεων και προβλημάτων που αποσκοπούν στη δοκιμασία της δυνατότητας των αντιπροσώπων να εφαρμόζουν γνώσεις των θεμάτων που καλύπτονται από την Ημέρα 3 και 4.

Οι πρόοδοι στις τεχνολογίες και η αυξανόμενη ποσότητα πληροφοριών μετασχηματίζουν τον τρόπο επιβολής του νόμου. Οι προκλήσεις που θέτουν το Big Data είναι σχεδόν τόσο αποθαρρυντικές όσο η υπόσχεση του Big Data . Η αποτελεσματική αποθήκευση δεδομένων είναι μία από αυτές τις προκλήσεις. αναλύοντας αποτελεσματικά είναι άλλο.

Σε αυτή την καθοδηγούμενη από εκπαιδευτές, ζωντανή εκπαίδευση, οι συμμετέχοντες θα μάθουν τη νοοτροπία με την οποία θα προσεγγίσουν τις τεχνολογίες Big Data , θα αξιολογήσουν τον αντίκτυπό τους στις υπάρχουσες διαδικασίες και πολιτικές και θα εφαρμόσουν αυτές τις τεχνολογίες για τον εντοπισμό της εγκληματικής δραστηριότητας και την πρόληψη του εγκλήματος. Περιπτωσιολογικές μελέτες από οργανισμούς επιβολής του νόμου σε όλο τον κόσμο θα εξεταστούν για να αποκτήσουν ιδέες για τις προσεγγίσεις υιοθεσίας, τις προκλήσεις και τα αποτελέσματά τους.

Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Συνδυάστε Big Data τεχνολογία Big Data με τις παραδοσιακές διαδικασίες συλλογής δεδομένων για να συνθέσετε μια ιστορία κατά τη διάρκεια μιας έρευνας
• Εφαρμογή μεγάλων βιομηχανικών λύσεων αποθήκευσης και επεξεργασίας δεδομένων για ανάλυση δεδομένων
• Προετοιμασία μιας πρότασης για την υιοθέτηση των καταλληλότερων εργαλείων και διαδικασιών για την παροχή δυνατότητας προσέγγισης της ποινικής έρευνας βάσει δεδομένων

Κοινό

• Ειδικοί επιβολής του νόμου με τεχνικό υπόβαθρο

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Big Data είναι ένας όρος που αναφέρεται σε λύσεις που προορίζονται για την αποθήκευση και την επεξεργασία μεγάλων συνόλων δεδομένων. Αναπτύχθηκαν αρχικά από την Go Ogle, οι λύσεις αυτές Big Data έχουν εξελιχθεί και εμπνευστούν από άλλα παρόμοια έργα, πολλά από τα οποία είναι διαθέσιμα ως open-source. R είναι μια δημοφιλής γλώσσα προγραμματισμού στον χρηματοπιστωτικό κλάδο.

Όταν οι παραδοσιακές τεχνολογίες αποθήκευσης δεν χειρίζονται την ποσότητα των δεδομένων που χρειάζεστε για να αποθηκεύσετε, υπάρχουν εναλλακτικές λύσεις. Αυτό το μάθημα προσπαθεί να καθοδηγήσει τους συμμετέχοντες ποιες είναι οι εναλλακτικές λύσεις για την αποθήκευση και ανάλυση των Big Data και ποια είναι τα πλεονεκτήματα και τα μειονεκτήματά τους.

Αυτό το μάθημα επικεντρώνεται κατά κύριο λόγο στη συζήτηση και την παρουσίαση λύσεων, αν και οι πρακτικές ασκήσεις είναι διαθέσιμες κατόπιν αιτήματος.