Στοιχείων Διαχείρισης Δεδομένων, Σχεδιασμός και Προσφορά Υπηρεσιών Training Course

Αυτή η εκπαιδευτική διάλεξη σε ζωντανό μέρος (σε πρόσωπο πρόσωπου ή διαδικτύου) είναι στοχευμένη για μεσαίου επιπέδου ειδικές στατιστικά επιστήμονες και μηχανικούς που θέλουν να χρησιμοποιήσουν Google Colab και Apache Spark για την επεξεργασία και ανάλυση μεγάλων δεδομένων.

Μέχρι το τέλος αυτής της εκπαιδευτικής διαλέξεως, οι μεταφράστες θα μπορούν να:

• Εγκαταστήσουν περιβάλλον μεγάλων δεδομένων χρησιμοποιώντας Google Colab και Spark.
• Επεξεργαστούν και αναλύσουν μεγάλα σημεία δεδομένων εξικανώς με το Apache Spark.
• Δημιουργήστε προβολές για μεγάλα σημεία δεδομένων σε ενόπλη υπεύθυνη ομάδα.
• Συνδυάστε Apache Spark με αστικά εργαλεία.

Οι μεγάλες αναλύσεις δεδομένων περιλαμβάνουν τη διαδικασία εξέτασης μεγάλων ποσοτήτων ποικίλων συνόλων δεδομένων, προκειμένου να αποκαλυφθούν συσχετισμοί, κρυμμένα μοτίβα και άλλες χρήσιμες γνώσεις.

Ο τομέας της υγείας έχει τεράστιες ποσότητες σύνθετων ετερογενών ιατρικών και κλινικών δεδομένων. Η εφαρμογή μεγάλων αναλυτικών στοιχείων σχετικά με τα δεδομένα για την υγεία παρουσιάζει τεράστιο δυναμικό για την απόκτηση γνώσεων για τη βελτίωση της παροχής υγειονομικής περίθαλψης. Ωστόσο, το τεράστιο μέγεθος αυτών των συνόλων δεδομένων δημιουργεί μεγάλες προκλήσεις σε αναλύσεις και πρακτικές εφαρμογές σε ένα κλινικό περιβάλλον.

Σε αυτή την καθοδηγούμενη από εκπαιδευτή, ζωντανή εκπαίδευση (απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να εκτελούν μεγάλες αναλύσεις δεδομένων στην υγεία καθώς περνούν μέσα από μια σειρά πρακτικών εργαστηριακών ασκήσεων.

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και διαμορφώστε εργαλεία ανάλυσης δεδομένων όπως Hadoop MapReduce και Spark
• Κατανοήστε τα χαρακτηριστικά των ιατρικών δεδομένων
• Εφαρμογή μεγάλων τεχνικών δεδομένων για την αντιμετώπιση των ιατρικών δεδομένων
• Μελετήστε μεγάλα συστήματα δεδομένων και αλγόριθμους στο πλαίσιο εφαρμογών υγείας

Κοινό

• Προγραμματιστές
• Επιστήμονες δεδομένων

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση.

Σημείωση

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Ο κούρσος είναι προσανατολισμένος σε IT ειδικούς που αναζητούν λύσεις για τη αποθήκευση και επεξεργασία μεγάλων συνόλων δεδομένων σε περιβάλλον διανεμημένων συστημάτων

Στόχος του κούρσου:

Απόκτηση γνώσεων για την διαχείριση Hadoop cluster

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε διαχειριστές συστημάτων που επιθυμούν να μάθουν πώς να δημιουργούν, να αναπτύσσουν και να διαχειρίζονται Hadoop συμπλέγματα εντός του οργανισμού τους.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apache Hadoop.
• Κατανοήστε τα τέσσερα κύρια στοιχεία στο οικοσύστημα Hadoop: HDFS, MapReduce, YARN και Hadoop Common.
• Χρησιμοποιήστε το Hadoop Distributed File System (HDFS) για να κλιμακώσετε ένα σύμπλεγμα σε εκατοντάδες ή χιλιάδες κόμβους.
• Ρυθμίστε το HDFS ώστε να λειτουργεί ως μηχανή αποθήκευσης για επιτόπιες αναπτύξεις Spark.
• Ρυθμίστε το Spark για πρόσβαση σε εναλλακτικές λύσεις αποθήκευσης όπως συστήματα βάσεων δεδομένων Amazon S3 και NoSQL όπως Redis, Elasticsearch, Couchbase, Aerospike κ.λπ.
• Εκτελέστε διοικητικές εργασίες όπως η παροχή, η διαχείριση, η παρακολούθηση και η ασφάλιση ενός συμπλέγματος Apache Hadoop.

In this instructor-led, live training in Ελλάδα (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

• Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
• Understand and select the most appropriate framework for the job.
• Process of data continuously, concurrently, and in a record-by-record fashion.
• Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
• Integrate the most appropriate stream processing library with enterprise applications and microservices.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων που επιθυμούν να χρησιμοποιήσουν τη στοίβα SMACK για να δημιουργήσουν πλατφόρμες επεξεργασίας δεδομένων για λύσεις μεγάλων δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εφαρμόστε μια αρχιτεκτονική αγωγών δεδομένων για την επεξεργασία μεγάλων δεδομένων.
• Αναπτύξτε μια υποδομή συμπλέγματος με το Apache Mesos και το Docker.
• Αναλύστε δεδομένα με Spark και Scala.
• Διαχειριστείτε μη δομημένα δεδομένα με το Apache Cassandra.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς που επιθυμούν να δημιουργήσουν και να αναπτύξουν σύστημα Apache Spark για την επεξεργασία πολύ μεγάλων ποσοτήτων δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και ρυθμίστε το Apache Spark.
• Γρήγορη επεξεργασία και ανάλυση πολύ μεγάλων συνόλων δεδομένων.
• Κατανοήστε τη διαφορά μεταξύ του Apache Spark και του Hadoop MapReduce και πότε να χρησιμοποιήσετε ποιο.
• Ενσωματώστε το Apache Spark με άλλα εργαλεία μηχανικής εκμάθησης.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε αρχάριους έως μεσαίου επιπέδου διαχειριστές συστημάτων που επιθυμούν να αναπτύξουν, να διατηρήσουν και να βελτιστοποιήσουν συμπλέγματα Spark.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Εγκαταστήστε και διαμορφώστε το Apache Spark σε διάφορα περιβάλλοντα.
• Διαχειριστείτε τους πόρους συμπλέγματος και παρακολουθήστε τις εφαρμογές Spark.
• Βελτιστοποιήστε την απόδοση των συμπλεγμάτων Spark.
• Εφαρμόστε μέτρα ασφαλείας και εξασφαλίστε υψηλή διαθεσιμότητα.
• Εντοπισμός σφαλμάτων και αντιμετώπιση κοινών προβλημάτων Spark.

Apache Spark καμπύλη μάθησης Apache Spark αυξάνεται σιγά-σιγά στην αρχή, χρειάζεται πολύ μεγάλη προσπάθεια για να πάρει την πρώτη επιστροφή. Αυτό το μάθημα στοχεύει να περάσει από το πρώτο σκληρό μέρος. Μετά την ολοκλήρωση αυτού του μαθήματος οι συμμετέχοντες θα κατανοήσουν τα βασικά στοιχεία του Apache Spark , θα διαφοροποιήσουν ξεκάθαρα το RDD από το DataFrame, θα μάθουν Python και Scala API, θα καταλάβουν τους εκτελεστές και τα καθήκοντα κλπ. Επίσης ακολουθώντας τις βέλτιστες πρακτικές, ανάπτυξη νέφους, Databricks και AWS. Οι μαθητές θα κατανοήσουν επίσης τις διαφορές μεταξύ AWS EMR και AWS Glue, μιας από τις πιο πρόσφατες υπηρεσίες Spark της AWS.

ΚΟΙΝΟ:

Μηχανικός δεδομένων, DevOps , Data Scientist

ΣΚΟΠΟΣ:

Αυτό το μάθημα θα εισαγάγει το Apache Spark . Οι μαθητές θα μάθουν πώς το Spark εντάσσεται στο οικοσύστημα Big Data και πώς να χρησιμοποιήσει το Spark για ανάλυση δεδομένων. Το μάθημα καλύπτει το κέλυφος Spark για διαδραστική ανάλυση δεδομένων, εσωτερικά Spark, API Spark, Spark SQL , Spark streaming και μηχανική μάθηση και graphX.

ΚΟΙΝΟ :

Προγραμματιστές / αναλυτές δεδομένων

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Spark NLP, που βασίζεται στο Apache Spark, για να αναπτύξουν, να εφαρμόσουν και να κλιμακώσουν την επεξεργασία κειμένου σε φυσική γλώσσα μοντέλα και αγωγούς.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης για να ξεκινήσετε την κατασκευή αγωγών NLP με το Spark NLP.
• Κατανοήστε τα χαρακτηριστικά, την αρχιτεκτονική και τα οφέλη από τη χρήση του Spark NLP.
• Χρησιμοποιήστε τα προεκπαιδευμένα μοντέλα που είναι διαθέσιμα στο Spark NLP για να εφαρμόσετε την επεξεργασία κειμένου.
• Μάθετε πώς να κατασκευάζετε, εκπαιδεύετε και κλιμακώνετε μοντέλα Spark NLP για έργα παραγωγής.
• Εφαρμογή ταξινόμησης, συμπερασμάτων και ανάλυσης συναισθήματος σε περιπτώσεις χρήσης πραγματικού κόσμου (κλινικά δεδομένα, πληροφορίες συμπεριφοράς πελατών, κ.λπ.).

Σε αυτήν τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το Python και το Spark μαζί για να αναλύουν μεγάλα δεδομένα καθώς εργάζονται σε πρακτικές ασκήσεις.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Μάθετε πώς να χρησιμοποιείτε το Spark με το Python για την ανάλυση του Big Data.
• Εργαστείτε σε ασκήσεις που μιμούνται πραγματικές περιπτώσεις.
• Χρησιμοποιήστε διαφορετικά εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το PySpark.

Αυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν και να ενσωματώσουν το Spark, Hadoop και Python για να επεξεργαστούν, να αναλύσουν και να μετασχηματίσουν μεγάλα και πολύπλοκα σύνολα δεδομένων.

Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:

• Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την επεξεργασία μεγάλων δεδομένων με το Spark, Hadoop και Python.
• Κατανοήστε τα χαρακτηριστικά, τα βασικά στοιχεία και την αρχιτεκτονική του Spark και Hadoop.
• Μάθετε πώς να ενσωματώνετε το Spark, Hadoop και Python για επεξεργασία μεγάλων δεδομένων.
• Εξερευνήστε τα εργαλεία στο οικοσύστημα Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka και Flume).
• Δημιουργήστε συνεργατικά συστήματα προτάσεων φιλτραρίσματος παρόμοια με το Netflix, το YouTube, το Amazon, το Spotify και το Google.
• Χρησιμοποιήστε το Apache Mahout για να κλιμακώσετε τους αλγόριθμους μηχανικής μάθησης.

Το Spark SQL είναι η ενότητα του Apache Spark για την εργασία με δομημένα και αδόμητα δεδομένα. Το Spark SQL παρέχει πληροφορίες σχετικά με τη δομή των δεδομένων καθώς και τον υπολογισμό που εκτελείται. Αυτές οι πληροφορίες μπορούν να χρησιμοποιηθούν για την εκτέλεση βελτιστοποιήσεων. Δύο κοινές χρήσεις για το SQL Spark είναι:
- για εκτέλεση ερωτημάτων SQL .
- για ανάγνωση δεδομένων από υπάρχουσα εγκατάσταση Hive .

Σε αυτόν τον εκπαιδευτή, ζωντανή προπόνηση (onsite ή απομακρυσμένη), οι συμμετέχοντες θα μάθουν πώς να αναλύουν διάφορους τύπους συνόλων δεδομένων χρησιμοποιώντας Spark SQL .

Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και ρυθμίστε τον SQL Spark.
• Εκτελέστε ανάλυση δεδομένων χρησιμοποιώντας Spark SQL .
• Αναζητήστε σύνολα δεδομένων σε διαφορετικές μορφές.
• Οπτικοποιήστε τα δεδομένα και τα αποτελέσματα των ερωτημάτων.

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτική.
• Χειροκίνητη υλοποίηση σε εργασιακό περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Stratio είναι μια πλατφόρμα αξιοθέτησης δεδομένων που ενσωματώνει τα big data, την AI και την governance σε μία έντελη λύση. Οι modula Rocket και Intelligence επιτρέπουν γρήγορη αναζήτηση, μετάφραση δεδομένων και προβληματική ανάλυση σε εντελειώδη περιβάλλοντα.

Αυτό το δίδασκτρο με οργανωμένη καθοδήγηση (πολύχρωμος ή live) στόχο ενισχύει τους μεσαίου επιπέδου δεδομένων επαγγελματίες που επιθυμούν να χρησιμοποιήσουν τα modula Rocket και Intelligence στο Stratio αποτελεσματικά με PySpark, εστίαζόντας σε περιβάλλοντα διαδηλώσεων, χρήστες-ορισμένες λειτουργίες και προβληματικά δεδομένα.

Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:

• Να περιφέρονται και να εργάζονται στην Stratio platform χρησιμοποιώντας τους modula Rocket και Intelligence.
• Να εφαρμόζουν PySpark σε περιβάλλοντα δεδομένων ingestion, transformation, και analysis.
• Να χρησιμοποιούν loops και συνθηκική λογική για τον έλεγχο δεδομένων workflows και feature engineering tasks.
• Να δημιουργούν και να διαχειρίζονται χρήστες-ορισμένες λειτουργίες (UDFs) για μεταχειριστό data operations στο PySpark.

Μορφή της Εκπαίδευσης

• Διεξοδική εισαγωγή και συζήτηση.
• Πολλά ασκήσεις και πρακτική.
• Αλληλεπίδραση σε μια live-lab περιβάλλον.

Επιλογές Διεξαγωγής Προσαρμοστικών

• Για να αιτηθεί μια προσαρμοσμένη εκπαίδευση για αυτό το δίδασκο, παρακαλώ συνεχίζετε μας.