Big Data Training Courses

Python είναι μια εκτεταμένη, ευέλικτη και ευρέως χρησιμοποιούμενη γλώσσα προγραμματισμού για την επιστήμη των δεδομένων και τη μηχανική μάθηση. Η Spark είναι μια μηχανή επεξεργασίας δεδομένων που χρησιμοποιείται για την αναζήτηση, την ανάλυση και τη μετατροπή μεγάλων δεδομένων, ενώ Hadoop είναι ένα πλαίσιο βιβλιοθήκης λογισμικού για την αποθήκευση και επεξεργασία δεδομένων μεγάλης κλίμακας. Αυτή η εκπαιδευτική, ζωντανή εκπαίδευση (online ή on-site) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν και να ενσωματώσουν το Spark, Hadoop, και Python για να επεξεργαστούν, να αναλύσουν και να μεταμορφώσουν μεγάλα και πολύπλοκα σύνολα δεδομένων. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Δημιουργήστε το απαραίτητο περιβάλλον για να ξεκινήσετε την επεξεργασία των μεγάλων δεδομένων με το Spark, Hadoop, και Python. Κατανοήστε τα χαρακτηριστικά, τα βασικά συστατικά και την αρχιτεκτονική του Spark και Hadoop. Μάθετε πώς να ενσωματώσετε το Spark, Hadoop, και Python για την επεξεργασία μεγάλων δεδομένων. Εξερευνήστε τα εργαλεία στο οικοσύστημα του Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka, και Flume). Δημιουργήστε συλλογικά συστήματα συστάσεων φιλτραρίσματος παρόμοια με Netflix, YouTube, Amazon, Spotify και Google. Χρησιμοποιήστε το Apache Mahout για να κλιμακώσετε τους αλγόριθμους μηχανικής μάθησης.

Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Το Waikato Environment for Knowledge Analysis (Weka) είναι ένα λογισμικό απεικόνισης ανοικτού κώδικα δεδομένων. Παρέχει μια συλλογή αλγορίθμων μηχανικής μάθησης για την προετοιμασία δεδομένων, την ταξινόμηση, την ταξινόμηση και άλλες δραστηριότητες εξόρυξης δεδομένων. Αυτή η εκπαιδευτική, ζωντανή εκπαίδευση (online ή online) απευθύνεται σε αναλυτές δεδομένων και επιστήμονες δεδομένων που επιθυμούν να χρησιμοποιήσουν Weka για την εκτέλεση εργασιών εξόρυξης δεδομένων. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Εγκατάσταση και διαμόρφωση Weka Κατανοήστε το Weka περιβάλλον και το εργοστάσιο. Εκτέλεση εργασιών εξόρυξης δεδομένων χρησιμοποιώντας Weka.

Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

IBM SPSS Modeler είναι ένα λογισμικό που χρησιμοποιείται για την εξόρυξη δεδομένων και την ανάλυση κειμένου. Παρέχει ένα σύνολο εργαλείων εξόρυξης δεδομένων που μπορούν να δημιουργήσουν προβλέψιμα μοντέλα και να εκτελέσουν εργασίες ανάλυσης δεδομένων. Αυτή η εκπαιδευτική, ζωντανή εκπαίδευση (online ή online) απευθύνεται σε αναλυτές δεδομένων ή σε οποιονδήποτε επιθυμεί να χρησιμοποιήσει SPSS Modeler για την εκτέλεση δραστηριοτήτων εξόρυξης δεδομένων. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Κατανοήστε τα θεμέλια της εξόρυξης δεδομένων. Μάθετε πώς να εισάγετε και να αξιολογήσετε την ποιότητα των δεδομένων με το Modeler. Ανάπτυξη, ανάπτυξη και αξιολόγηση μοντέλων δεδομένων αποτελεσματικά.

Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Οι συμμετέχοντες που ολοκληρώνουν αυτή την εκπαιδευτική, ζωντανή εκπαίδευση θα αποκτήσουν μια πρακτική, πραγματική κατανόηση του Big Data και των σχετικών τεχνολογιών, μεθοδολογιών και εργαλείων. Οι συμμετέχοντες θα έχουν την ευκαιρία να εφαρμόσουν αυτές τις γνώσεις μέσω πρακτικών ασκήσεων. Η ομαδική αλληλεπίδραση και η ανατροφοδότηση των εκπαιδευτικών αποτελούν σημαντικό στοιχείο της τάξης. Το μάθημα ξεκινά με μια εισαγωγή στις στοιχειώδεις έννοιες του Big Data, στη συνέχεια προχωρά στις γλώσσες προγραμματισμού και τις μεθοδολογίες που χρησιμοποιούνται για την εκτέλεση Data Analysis. Τέλος, συζητάμε τα εργαλεία και τις υποδομές που επιτρέπουν Big Data αποθήκευση, κατανεμημένη επεξεργασία και Scala βιωσιμότητα. Η μορφή του μαθήματος

Μερική διάλεξη, μερική συζήτηση, πρακτική και υλοποίηση, περιστασιακή ανασκόπηση για τη μέτρηση της προόδου.

Python είναι μια γλώσσα προγραμματισμού υψηλού επιπέδου γνωστή για την σαφή σύνταξη και την αναγνωσιμότητα του κώδικα. Το Spark είναι ένας μηχανισμός επεξεργασίας δεδομένων που χρησιμοποιείται για την αναζήτηση, την ανάλυση και τη μετατροπή μεγάλων δεδομένων. PySpark επιτρέπει στους χρήστες να αλληλεπιδρούν με την Python . Σε αυτή την καθοδηγούμενη από εκπαιδευτή, ζωντανή προπόνηση, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το Python και το Spark μαζί για να αναλύσουν τα μεγάλα δεδομένα καθώς εργάζονται σε πρακτικές ασκήσεις. Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Μάθετε πώς να χρησιμοποιείτε το Spark με την Python για να αναλύσετε τα Big Data .
• Εργασίες για ασκήσεις που μιμούνται περιστάσεις πραγματικού κόσμου.
• Χρησιμοποιήστε διάφορα εργαλεία και τεχνικές για την ανάλυση μεγάλων δεδομένων χρησιμοποιώντας το PySpark .

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Αυτό το μάθημα καλύπτει τον τρόπο χρήσης της γλώσσας Hive SQL (AKA: Hive HQL, SQL σε Hive , Hive QL) για άτομα που εξάγουν δεδομένα από την Hive

Η ανακάλυψη γνώσης σε βάσεις δεδομένων (KDD) είναι η διαδικασία της ανακάλυψης χρήσιμων γνώσεων από μια συλλογή δεδομένων. Οι εφαρμογές πραγματικής ζωής για αυτή την τεχνική εξόρυξης δεδομένων περιλαμβάνουν το μάρκετινγκ, την ανίχνευση απάτης, τις τηλεπικοινωνίες και την παραγωγή. Σε αυτό το εκπαιδευτικό, ζωντανό μάθημα, εισάγουμε τις διαδικασίες που εμπλέκονται στο KDD και διεξάγουμε μια σειρά ασκήσεων για να ασκήσουμε την εφαρμογή αυτών των διαδικασιών. Δημοσιογράφος

Αναλυτές δεδομένων ή οποιοσδήποτε ενδιαφέρεται να μάθει πώς να ερμηνεύει τα δεδομένα για την επίλυση προβλημάτων

Η μορφή του μαθήματος

Μετά από μια θεωρητική συζήτηση του KDD, ο εκπαιδευτής θα παρουσιάσει πραγματικές περιπτώσεις που απαιτούν την εφαρμογή του KDD για την επίλυση ενός προβλήματος. Οι συμμετέχοντες θα προετοιμάσουν, θα επιλέξουν και θα καθαρίσουν σύνολα δεδομένων δείγματος και θα χρησιμοποιήσουν τις προηγούμενες γνώσεις τους σχετικά με τα δεδομένα για να προτείνουν λύσεις με βάση τα αποτελέσματα των παρατηρήσεών τους.

Apache Kylin είναι μια ακραία, διανεμημένη μηχανή ανάλυσης για τα μεγάλα δεδομένα. Σε αυτή την άσκηση σε απευθείας σύνδεση με εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν Apache Kylin για να εγκαταστήσουν μια αποθήκη δεδομένων σε πραγματικό χρόνο. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Καταναλώστε δεδομένα streaming σε πραγματικό χρόνο χρησιμοποιώντας την Kylin Χρησιμοποιήστε Apache Kylin's ισχυρές ιδιότητες, πλούσια SQL διεπαφή, κουβέντα σπάρκ και υποσυνδρομητική ακυρότητα αναζήτησης

Σημείωση

Χρησιμοποιούμε την πιο πρόσφατη έκδοση του Kylin (σύμφωνα με αυτό το γράμμα, Apache Kylin v2.0)

Δημοσιογράφος

Μεγάλοι Μηχανικοί Δεδομένων Big Data Αναλυτές

Η μορφή της πορείας

Μερικές διαλέξεις, μερικές συζητήσεις, ασκήσεις και σκληρές πρακτικές

Datameer is a business intelligence and analytics platform built on Hadoop. It allows end-users to access, explore and correlate large-scale, structured, semi-structured and unstructured data in an easy-to-use fashion. In this instructor-led, live training, participants will learn how to use Datameer to overcome Hadoop's steep learning curve as they step through the setup and analysis of a series of big data sources. By the end of this training, participants will be able to:

• Create, curate, and interactively explore an enterprise data lake
• Access business intelligence data warehouses, transactional databases and other analytic stores
• Use a spreadsheet user-interface to design end-to-end data processing pipelines
• Access pre-built functions to explore complex data relationships
• Use drag-and-drop wizards to visualize data and create dashboards
• Use tables, charts, graphs, and maps to analyze query results

Audience

• Data analysts

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

Η εξόρυξη δεδομένων είναι η διαδικασία ταυτοποίησης προτύπων σε μεγάλα δεδομένα με μεθόδους επιστήμης δεδομένων, όπως μηχανική μάθηση. Χρησιμοποιώντας το Excel ως αναλυτική σουίτα δεδομένων, οι χρήστες μπορούν να εκτελούν εξόρυξη δεδομένων και ανάλυση. Αυτή η καθοδηγούμενη από εκπαιδευτές, ζωντανή εκπαίδευση (επιτόπου ή απομακρυσμένη) απευθύνεται σε επιστήμονες δεδομένων που επιθυμούν να χρησιμοποιήσουν το Excel για εξόρυξη δεδομένων. Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εξερευνήστε δεδομένα με το Excel για να διεξάγετε εξόρυξη δεδομένων και ανάλυση.
• Χρησιμοποιήστε αλγόριθμους της Microsoft για την εξόρυξη δεδομένων.
• Κατανοήστε τις έννοιες στην Excel δεδομένων του Excel .

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτική.
• Χειροκίνητη υλοποίηση σε εργασιακό περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Dremio είναι μια πλατφόρμα δεδομένων ανοικτού κώδικα που επιταχύνει την αναζήτηση διαφόρων τύπων πηγών δεδομένων. Dremio ενσωματώνεται με σχετικές βάσεις δεδομένων, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch, και άλλες πηγές δεδομένων. Υποστηρίζει SQL και παρέχει ένα web UI για οικοδομικές ερωτήσεις. Σε αυτή την εκπαιδευτική, ζωντανή εκπαίδευση, οι συμμετέχοντες θα μάθουν πώς να εγκαταστήσουν, να ρυθμίσουν και να χρησιμοποιήσουν Dremio ως ένα ενιαίο στρώμα για τα εργαλεία ανάλυσης δεδομένων και τα υποκείμενα αποθήκες δεδομένων. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Εγκατάσταση και διαμόρφωση Dremio Εφαρμογή ερωτήσεων έναντι πολλαπλών πηγών δεδομένων, ανεξάρτητα από την τοποθεσία, το μέγεθος ή τη δομή Ενσωματώστε Dremio με BI και πηγές δεδομένων όπως Tableau και Elasticsearch

Δημοσιογράφος

Επιστήμονες δεδομένων Business Αναλυτές Μηχανικοί Δεδομένων

Η μορφή της πορείας

Μερικές διαλέξεις, μερικές συζητήσεις, ασκήσεις και σκληρές πρακτικές

σημειώσεις

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Apache Drill is a schema-free, distributed, in-memory columnar SQL query engine for Hadoop, NoSQL and other Cloud and file storage systems. The power of Apache Drill lies in its ability to join data from multiple data stores using a single query. Apache Drill supports numerous NoSQL databases and file systems, including HBase, MongoDB, MapR-DB, HDFS, MapR-FS, Amazon S3, Azure Blob Storage, Google Cloud Storage, Swift, NAS and local files. Apache Drill is the open source version of Google's Dremel system which is available as an infrastructure service called Google BigQuery. In this instructor-led, live training, participants will learn the fundamentals of Apache Drill, then leverage the power and convenience of SQL to interactively query big data across multiple data sources, without writing code. Participants will also learn how to optimize their Drill queries for distributed SQL execution. By the end of this training, participants will be able to:

• Perform "self-service" exploration on structured and semi-structured data on Hadoop
• Query known as well as unknown data using SQL queries
• Understand how Apache Drills receives and executes queries
• Write SQL queries to analyze different types of data, including structured data in Hive, semi-structured data in HBase or MapR-DB tables, and data saved in files such as Parquet and JSON.
• Use Apache Drill to perform on-the-fly schema discovery, bypassing the need for complex ETL and schema operations
• Integrate Apache Drill with BI (Business Intelligence) tools such as Tableau, Qlikview, MicroStrategy and Excel

Audience

• Data analysts
• Data scientists
• SQL programmers

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

Apache Arrow είναι ένα πλαίσιο επεξεργασίας δεδομένων ανοικτού κώδικα μέσα στην μνήμη. Συχνά χρησιμοποιείται μαζί με άλλα εργαλεία επιστήμης δεδομένων για την πρόσβαση σε ανόμοιες αποθήκες δεδομένων για ανάλυση. Ενσωματώνεται καλά με άλλες τεχνολογίες όπως βάσεις δεδομένων GPU , βιβλιοθήκες μηχανών μάθησης και εργαλεία, μηχανές εκτέλεσης και πλαίσια απεικόνισης δεδομένων. Σε αυτή την επιτόπου εκπαιδευτή υπό την ηγεσία, ζωντανή κατάρτισης, οι συμμετέχοντες θα μάθουν πώς να ενσωματώσουν Apache Arrow με διάφορα Data Science πλαισίων για την πρόσβαση σε δεδομένα από διαφορετικές πηγές δεδομένων. Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Εγκαταστήστε και ρυθμίστε τις παραμέτρους του Apache Arrow σε περιβάλλον κατανεμημένου συμπλέγματος
• Χρησιμοποιήστε το Apache Arrow για να αποκτήσετε πρόσβαση σε δεδομένα από διαφορετικές πηγές δεδομένων
• Χρησιμοποιήστε το Apache Arrow για να παρακάμψετε την ανάγκη κατασκευής και συντήρησης σύνθετων αγωγών ETL
• Αναλύστε τα δεδομένα σε διαφορετικές πηγές δεδομένων χωρίς να χρειάζεται να την ενοποιήσετε σε ένα κεντρικό αποθετήριο

Κοινό

• Οι επιστήμονες των δεδομένων
• Μηχανικοί δεδομένων

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Σημείωση

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Ο στόχος του μαθήματος είναι να δώσει τη δυνατότητα στους συμμετέχοντες να αποκτήσουν την ικανότητα να δουλεύουν με τη γλώσσα SQL στη Oracle δεδομένων της Oracle για την εξαγωγή δεδομένων σε ενδιάμεσο επίπεδο.

Προκειμένου να ανταποκριθεί η συμμόρφωση των ρυθμιστικών αρχών, οι υπεύθυνοι Communication μπορούν να αξιοποιήσουν το Big Data Analytics, το οποίο όχι μόνο τους βοηθά να ανταποκριθούν στη συμμόρφωση, αλλά και στο πλαίσιο του ίδιου έργου, μπορούν να αυξήσουν την ικανοποίηση των πελατών τους και να μειώσουν έτσι το χτύπημα. Στην πραγματικότητα, δεδομένου ότι η συμμόρφωση σχετίζεται με την ποιότητα της υπηρεσίας που συνδέεται με μια σύμβαση, κάθε πρωτοβουλία για την εκπλήρωση της συμμόρφωσης, θα βελτιώσει την «ανταγωνιστική θέση» των ΕΣΧ. Ως εκ τούτου, είναι σημαντικό οι ρυθμιστικές αρχές να είναι σε θέση να συμβουλεύουν / καθοδηγούν ένα σύνολο αναλυτικής πρακτικής Big Data για τους CSP που θα είναι αμοιβαίο όφελος μεταξύ των ρυθμιστικών αρχών και των CSP. Το μάθημα αποτελείται από 8 ενότητες (4 την ημέρα 1 και 4 την ημέρα 2)

Advances in technologies and the increasing amount of information are transforming how business is conducted in many industries, including government. Government data generation and digital archiving rates are on the rise due to the rapid growth of mobile devices and applications, smart sensors and devices, cloud computing solutions, and citizen-facing portals. As digital information expands and becomes more complex, information management, processing, storage, security, and disposition become more complex as well. New capture, search, discovery, and analysis tools are helping organizations gain insights from their unstructured data. The government market is at a tipping point, realizing that information is a strategic asset, and government needs to protect, leverage, and analyze both structured and unstructured information to better serve and meet mission requirements. As government leaders strive to evolve data-driven organizations to successfully accomplish mission, they are laying the groundwork to correlate dependencies across events, people, processes, and information. High-value government solutions will be created from a mashup of the most disruptive technologies:

• Mobile devices and applications
• Cloud services
• Social business technologies and networking
• Big Data and analytics

IDC predicts that by 2020, the IT industry will reach $5 trillion, approximately $1.7 trillion larger than today, and that 80% of the industry's growth will be driven by these 3rd Platform technologies. In the long term, these technologies will be key tools for dealing with the complexity of increased digital information. Big Data is one of the intelligent industry solutions and allows government to make better decisions by taking action based on patterns revealed by analyzing large volumes of data — related and unrelated, structured and unstructured. But accomplishing these feats takes far more than simply accumulating massive quantities of data.“Making sense of thesevolumes of Big Datarequires cutting-edge tools and technologies that can analyze and extract useful knowledge from vast and diverse streams of information,” Tom Kalil and Fen Zhao of the White House Office of Science and Technology Policy wrote in a post on the OSTP Blog. The White House took a step toward helping agencies find these technologies when it established the National Big Data Research and Development Initiative in 2012. The initiative included more than $200 million to make the most of the explosion of Big Data and the tools needed to analyze it. The challenges that Big Data poses are nearly as daunting as its promise is encouraging. Storing data efficiently is one of these challenges. As always, budgets are tight, so agencies must minimize the per-megabyte price of storage and keep the data within easy access so that users can get it when they want it and how they need it. Backing up massive quantities of data heightens the challenge. Analyzing the data effectively is another major challenge. Many agencies employ commercial tools that enable them to sift through the mountains of data, spotting trends that can help them operate more efficiently. (A recent study by MeriTalk found that federal IT executives think Big Data could help agencies save more than $500 billion while also fulfilling mission objectives.). Custom-developed Big Data tools also are allowing agencies to address the need to analyze their data. For example, the Oak Ridge National Laboratory’s Computational Data Analytics Group has made its Piranha data analytics system available to other agencies. The system has helped medical researchers find a link that can alert doctors to aortic aneurysms before they strike. It’s also used for more mundane tasks, such as sifting through résumés to connect job candidates with hiring managers.

Ημέρα 1 - παρέχει μια επισκόπηση υψηλού επιπέδου των βασικών θεματικών τομέων Big Data . Η ενότητα χωρίζεται σε μια σειρά τμημάτων, καθένα από τα οποία συνοδεύεται από πρακτική άσκηση. Ημέρα 2 - διερευνά μια σειρά θεμάτων που σχετίζονται με τις πρακτικές και τα εργαλεία ανάλυσης για περιβάλλοντα Big Data . Δεν λαμβάνει πληροφορίες σχετικά με την εφαρμογή ή το προγραμματισμό, αλλά διατηρεί την κάλυψη σε εννοιολογικό επίπεδο, εστιάζοντας σε θέματα που επιτρέπουν στους συμμετέχοντες να αναπτύξουν μια ολοκληρωμένη κατανόηση των κοινών λειτουργιών ανάλυσης και των χαρακτηριστικών που προσφέρουν οι λύσεις Big Data . Ημέρα 3 - παρέχει μια επισκόπηση των θεμελιωδών και βασικών θεματικών πεδίων που σχετίζονται με την αρχιτεκτονική πλατφόρμα λύσεων Big Data . Καλύπτει τους μηχανισμούς Big Data απαιτούνται για την ανάπτυξη μιας πλατφόρμας λύσεων Big Data και αρχιτεκτονικές επιλογές για τη συναρμολόγηση μιας πλατφόρμας επεξεργασίας δεδομένων. Παρουσιάζονται επίσης κοινά σενάρια που παρέχουν μια βασική κατανόηση του τρόπου με τον οποίο χρησιμοποιείται γενικά μια πλατφόρμα λύσεων Big Data . Ημέρα 4 - βασίζεται στην Ημέρα 3 με την εξερεύνηση προηγμένων θεμάτων που σχετίζονται με την αρχιτεκτονική πλατφόρμας λύση Big Data . Συγκεκριμένα, εισάγονται και συζητούνται διαφορετικά αρχιτεκτονικά στρώματα που αποτελούν την πλατφόρμα λύσεων Big Data , συμπεριλαμβανομένων πηγών δεδομένων, εισόδου δεδομένων, αποθήκευσης δεδομένων, επεξεργασίας δεδομένων και ασφάλειας. Ημέρα 5 - καλύπτει μια σειρά ασκήσεων και προβλημάτων που αποσκοπούν στη δοκιμασία της δυνατότητας των αντιπροσώπων να εφαρμόζουν γνώσεις των θεμάτων που καλύπτονται από την Ημέρα 3 και 4.

Οι πρόοδοι στις τεχνολογίες και η αυξανόμενη ποσότητα πληροφοριών μετασχηματίζουν τον τρόπο επιβολής του νόμου. Οι προκλήσεις που θέτουν το Big Data είναι σχεδόν τόσο αποθαρρυντικές όσο η υπόσχεση του Big Data . Η αποτελεσματική αποθήκευση δεδομένων είναι μία από αυτές τις προκλήσεις. αναλύοντας αποτελεσματικά είναι άλλο. Σε αυτή την καθοδηγούμενη από εκπαιδευτές, ζωντανή εκπαίδευση, οι συμμετέχοντες θα μάθουν τη νοοτροπία με την οποία θα προσεγγίσουν τις τεχνολογίες Big Data , θα αξιολογήσουν τον αντίκτυπό τους στις υπάρχουσες διαδικασίες και πολιτικές και θα εφαρμόσουν αυτές τις τεχνολογίες για τον εντοπισμό της εγκληματικής δραστηριότητας και την πρόληψη του εγκλήματος. Περιπτωσιολογικές μελέτες από οργανισμούς επιβολής του νόμου σε όλο τον κόσμο θα εξεταστούν για να αποκτήσουν ιδέες για τις προσεγγίσεις υιοθεσίας, τις προκλήσεις και τα αποτελέσματά τους. Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:

• Συνδυάστε Big Data τεχνολογία Big Data με τις παραδοσιακές διαδικασίες συλλογής δεδομένων για να συνθέσετε μια ιστορία κατά τη διάρκεια μιας έρευνας
• Εφαρμογή μεγάλων βιομηχανικών λύσεων αποθήκευσης και επεξεργασίας δεδομένων για ανάλυση δεδομένων
• Προετοιμασία μιας πρότασης για την υιοθέτηση των καταλληλότερων εργαλείων και διαδικασιών για την παροχή δυνατότητας προσέγγισης της ποινικής έρευνας βάσει δεδομένων

Κοινό

• Ειδικοί επιβολής του νόμου με τεχνικό υπόβαθρο

Μορφή του μαθήματος

• Διάλεξη μέρους, μερική συζήτηση, ασκήσεις και βαριά πρακτική άσκηση

Στόχος : Αυτό το εκπαιδευτικό μάθημα στοχεύει να βοηθήσει τους συμμετέχοντες να κατανοήσουν γιατί τα Big Data αλλάζουν τη ζωή μας και πώς αλλάζει τον τρόπο με τον οποίο οι επιχειρήσεις μας βλέπουν ως καταναλωτές. Πράγματι, οι χρήστες μεγάλων δεδομένων στις επιχειρήσεις διαπιστώνουν ότι τα μεγάλα δεδομένα εξαπολύουν πληθώρα πληροφοριών και ιδεών που οδηγούν σε υψηλότερα κέρδη, μειωμένο κόστος και μικρότερο κίνδυνο. Ωστόσο, το μειονέκτημα ήταν η απογοήτευση μερικές φορές όταν δίνουμε μεγάλη έμφαση στις μεμονωμένες τεχνολογίες και δεν ασχολούμαστε αρκετά με τους πυλώνες της μεγάλης διαχείρισης δεδομένων. Οι συμμετέχοντες θα μάθουν κατά τη διάρκεια αυτού του μαθήματος πώς να διαχειριστούν τα μεγάλα δεδομένα χρησιμοποιώντας τους τρεις πυλώνες της ενσωμάτωσης δεδομένων, της διαχείρισης δεδομένων και της ασφάλειας των δεδομένων, προκειμένου να μετατρέψουν τα μεγάλα δεδομένα σε πραγματική επιχειρηματική αξία. Διαφορετικές ασκήσεις που διεξάγονται σε μια μελέτη περίπτωσης της διαχείρισης πελατών θα βοηθήσουν τους συμμετέχοντες να κατανοήσουν καλύτερα τις υποκείμενες διαδικασίες.

Big Data είναι ένας όρος που αναφέρεται σε λύσεις που προορίζονται για την αποθήκευση και την επεξεργασία μεγάλων συνόλων δεδομένων. Αναπτύχθηκαν αρχικά από την Go Ogle, οι λύσεις αυτές Big Data έχουν εξελιχθεί και εμπνευστούν από άλλα παρόμοια έργα, πολλά από τα οποία είναι διαθέσιμα ως open-source. R είναι μια δημοφιλής γλώσσα προγραμματισμού στον χρηματοπιστωτικό κλάδο.

Όταν οι παραδοσιακές τεχνολογίες αποθήκευσης δεν χειρίζονται την ποσότητα των δεδομένων που χρειάζεστε για να αποθηκεύσετε, υπάρχουν εναλλακτικές λύσεις. Αυτό το μάθημα προσπαθεί να καθοδηγήσει τους συμμετέχοντες ποιες είναι οι εναλλακτικές λύσεις για την αποθήκευση και ανάλυση των Big Data και ποια είναι τα πλεονεκτήματα και τα μειονεκτήματά τους. Αυτό το μάθημα επικεντρώνεται κατά κύριο λόγο στη συζήτηση και την παρουσίαση λύσεων, αν και οι πρακτικές ασκήσεις είναι διαθέσιμες κατόπιν αιτήματος.

Το μάθημα αποτελεί μέρος του συνόλου δεξιοτήτων Data Scientist (Domain: Data and Technology).

This classroom based training session will explore Big Data. Delegates will have computer based examples and case study exercises to undertake with relevant big data tools

Κοινό Αν προσπαθήσετε να κατανοήσετε τα δεδομένα στα οποία έχετε πρόσβαση ή θέλετε να αναλύσετε μη δομημένα δεδομένα που είναι διαθέσιμα στο διαδίκτυο (όπως το Twitter, το Linked in, κ.λπ.), αυτό το μάθημα απευθύνεται σε εσάς. Στόχος είναι κυρίως οι υπεύθυνοι λήψης αποφάσεων και οι άνθρωποι που πρέπει να επιλέξουν ποια δεδομένα αξίζει να συλλέξουν και τι αξίζει να αναλύσουμε. Δεν στοχεύει στους ανθρώπους να διαμορφώσουν τη λύση, αλλά αυτοί θα επωφεληθούν από τη μεγάλη εικόνα. Λειτουργία παράδοσης Κατά τη διάρκεια του μαθήματος οι εκπρόσωποι θα παρουσιαστούν με παραδείγματα εργασίας για τις περισσότερες τεχνολογίες ανοιχτού κώδικα. Οι σύντομες διαλέξεις θα ακολουθούνται από παρουσίαση και απλές ασκήσεις από τους συμμετέχοντες Το περιεχόμενο και το λογισμικό που χρησιμοποιήθηκαν Όλο το λογισμικό που χρησιμοποιείται ενημερώνεται κάθε φορά που εκτελείται το μάθημα, έτσι ελέγχουμε τις πιο πρόσφατες εκδόσεις. Καλύπτει τη διαδικασία από την απόκτηση, τη μορφοποίηση, την επεξεργασία και την ανάλυση των δεδομένων, για να εξηγήσει πώς αυτοματοποιείται η διαδικασία λήψης αποφάσεων με τη μηχανική μάθηση.

Τα μεγάλα δεδομένα είναι σύνολα δεδομένων που είναι τόσο ογκώδη και περίπλοκα που το παραδοσιακό λογισμικό εφαρμογών επεξεργασίας δεδομένων είναι ανεπαρκές για την αντιμετώπισή τους. Οι μεγάλες προκλήσεις δεδομένων περιλαμβάνουν τη συλλογή δεδομένων, την αποθήκευση δεδομένων, την ανάλυση δεδομένων, την αναζήτηση, την κοινή χρήση, τη μεταφορά, την οπτικοποίηση, την αναζήτηση, την ενημέρωση και την προστασία της ιδιωτικής ζωής των πληροφοριών.

Αυτή η καθοδηγούμενη από εκπαιδευτές, ζωντανή εκπαίδευση (επιτόπια ή απομακρυσμένη) απευθύνεται σε τεχνικά άτομα που επιθυμούν να μάθουν πώς να εφαρμόσουν μια στρατηγική μηχανικής μάθησης, μεγιστοποιώντας ταυτόχρονα τη χρήση μεγάλων δεδομένων. Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα:

• Κατανοήστε την εξέλιξη και τις τάσεις της μηχανικής μάθησης.
• Μάθετε πώς η μηχανική μάθηση χρησιμοποιείται σε διάφορες βιομηχανίες.
• Γνωρίστε τα εργαλεία, τις δεξιότητες και τις υπηρεσίες που είναι διαθέσιμες για την εφαρμογή της μηχανικής μάθησης μέσα σε έναν οργανισμό.
• Κατανοήστε τον τρόπο με τον οποίο η μηχανική μάθηση μπορεί να χρησιμοποιηθεί για τη βελτίωση της εξόρυξης δεδομένων και της ανάλυσης.
• Μάθετε τι είναι το μεσαίο backend δεδομένων και πώς χρησιμοποιείται από τις επιχειρήσεις.
• Κατανοήστε το ρόλο που παίζουν μεγάλα δεδομένα και έξυπνες εφαρμογές σε όλους τους κλάδους.

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και πρακτική.
• Χειροκίνητη υλοποίηση σε εργασιακό περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, επικοινωνήστε μαζί μας για να κανονίσετε.

Apache Sqoop είναι μια διεπαφή γραμμής εντολών για τη μετακίνηση δεδομένων από σχεσιακές βάσεις δεδομένων και Hadoop. Apache Flume είναι ένα κατανεμημένο λογισμικό για τη διαχείριση μεγάλων δεδομένων. Χρησιμοποιώντας Sqoop και το αγωγό ύδατος, οι χρήστες μπορούν να μεταφέρουν τα στοιχεία μεταξύ των συστημάτων και να εισαγάγουν τα μεγάλα στοιχεία στις αρχιτεκτονικές αποθήκευσης όπως Hadoop. Αυτό εκπαιδευτής-LED, ζωντανή εκπαίδευση (επιτόπου ή απομακρυσμένες) απευθύνεται σε μηχανικούς λογισμικού που επιθυμούν να χρησιμοποιήσουν Sqoop και διώρυγας για τη μεταφορά δεδομένων μεταξύ των συστημάτων. Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:

• Κατάπιε μεγάλα δεδομένα με Sqoop και διώρυγα.
• Κατάποση δεδομένων από πολλαπλά αρχεία προέλευσης δεδομένων.
• Μετακίνηση δεδομένων από σχεσιακές βάσεις δεδομένων σε HDFS και Hive.
• Εξαγωγή δεδομένων από το HDFS σε σχεσιακή βάση δεδομένων.

Μορφή του μαθήματος

• Διαδραστική διάλεξη και συζήτηση.
• Πολλές ασκήσεις και εξάσκηση.
• Πρακτική εφαρμογή σε περιβάλλον Live-Lab.

Επιλογές προσαρμογής μαθήματος

• Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να κανονίσουμε.

Talend Open Studio for Big Data είναι ένα εργαλείο ETL ανοικτού κώδικα για την επεξεργασία μεγάλων δεδομένων. Περιλαμβάνει ένα περιβάλλον ανάπτυξης για να αλληλεπιδρούν με Big Data πηγές και στόχους, και να εκτελούν θέσεις εργασίας χωρίς να χρειάζεται να γράφουν κώδικα. Αυτή η εκπαιδευτική, ζωντανή εκπαίδευση (online ή on-site) απευθύνεται σε τεχνικά άτομα που επιθυμούν να αναπτύξουν Talend Open Studio για Big Data για να απλοποιήσουν τη διαδικασία ανάγνωσης και κρούσης μέσω Big Data. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Εγκαταστήστε και ρυθμίστε Talend Open Studio για Big Data. Συνδεθείτε με Big Data συστήματα όπως Cloudera, HortonWorks, MapR, Amazon EMR και Apache. Κατανοήστε και εγκαταστήστε τα μεγάλα στοιχεία δεδομένων και συνδέσμους του Open Studio's. Προσαρμόστε τις παραμέτρους για να δημιουργήσετε αυτόματα τον κωδικό MapReduce. Χρησιμοποιήστε τη διεπαφή drag-and-drop του Open Studio για να εκτελέσετε Hadoop εργασίες. Πρωτότυπα μεγάλων σωλήνων δεδομένων. Αυτοματοποιημένα έργα μεγάλης ενοποίησης δεδομένων.

Η μορφή του μαθήματος

Διαδραστική διάλεξη και συζήτηση. Πολλές ασκήσεις και πρακτικές. Hands-on εφαρμογή σε ένα ζωντανό εργαστήριο περιβάλλον.

Επιλογές προσαρμογής μαθημάτων

Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να οργανώσετε.

Vespa is an open-source big data processing and serving engine created by Yahoo.  It is used to respond to user queries, make recommendations, and provide personalized content and advertisements in real-time. This instructor-led, live training introduces the challenges of serving large-scale data and walks participants through the creation of an application that can compute responses to user requests, over large datasets in real-time. By the end of this training, participants will be able to:

• Use Vespa to quickly compute data (store, search, rank, organize) at serving time while a user waits
• Implement Vespa into existing applications involving feature search, recommendations, and personalization
• Integrate and deploy Vespa with existing big data systems such as Hadoop and Storm.

Audience

• Developers

Format of the course

• Part lecture, part discussion, exercises and heavy hands-on practice

Alluxio είναι ένα εικονικό διανεμημένο σύστημα αποθήκευσης ανοιχτού κώδικα που ενώνει διαφορετικά συστήματα αποθήκευσης και επιτρέπει στις εφαρμογές να αλληλεπιδρούν με δεδομένα με ταχύτητα μνήμης. Χρησιμοποιείται από εταιρείες όπως η Intel, η Baidu και η Alibaba. Σε αυτή την εκπαιδευτική, ζωντανή κατάρτιση, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν Alluxio για να συσσωρεύουν διαφορετικά πλαίσια υπολογισμού με συστήματα αποθήκευσης και να διαχειρίζονται αποτελεσματικά τα δεδομένα πολλαπλής κλίμακας με την πάροδο της δημιουργίας μιας εφαρμογής με Alluxio. Μετά το τέλος της προπόνησης, οι συμμετέχοντες θα είναι σε θέση να:

Αναπτύξτε μια εφαρμογή με Alluxio Συνδέστε μεγάλα συστήματα δεδομένων και εφαρμογές διατηρώντας ταυτόχρονα ένα όνομα χώρο Αποτελεσματικά εξάγει αξία από τα μεγάλα δεδομένα σε οποιαδήποτε μορφή αποθήκευσης Βελτίωση της απόδοσης εργασιακού φορτίου Επεξεργασία και διαχείριση Alluxio ξεχωριστά ή συσσωρευμένα

Δημοσιογράφος

Επιστήμονας Δεδομένων Αναπτυξιακός Διαχειριστής συστήματος

Η μορφή της πορείας

Μερικές διαλέξεις, μερικές συζητήσεις, ασκήσεις και σκληρές πρακτικές