Κατανόηση Βαθιών Νευρωνικών Δικτύων Κομμάτι εκπαίδευσης

Μέρος 1 – Έννοιες Βαθιάς Μάθησης και DNN

Εισαγωγή στην Τεχνητή Νοημοσύνη, τη Μηχανική Μάθηση & τη Βαθιά Μάθηση

• Ιστορία, βασικές έννοιες και συνήθεις εφαρμογές της τεχνητής νοημοσύνης μακριά από τις φαντασιώσεις που συνοδεύουν αυτόν τον τομέα
• Συλλογική Νοημοσύνη: συγκέντρωση γνώσης που μοιράζονται πολλοί εικονικοί πράκτορες
• Γενετικοί αλγόριθμοι: για την εξέλιξη ενός πληθυσμού εικονικών πρακτόρων μέσω επιλογής
• Συνήθης Μηχανική Μάθηση: ορισμός.
• Τύποι εργασιών: επιβλεπόμενη μάθηση, μη επιβλεπόμενη μάθηση, ενισχυτική μάθηση
• Τύποι ενεργειών: ταξινόμηση, παλινδρόμηση, ομαδοποίηση, εκτίμηση πυκνότητας, μείωση διαστατικότητας
• Παραδείγματα αλγορίθμων Μηχανικής Μάθησης: Γραμμική παλινδρόμηση, Naive Bayes, Τυχαίο Δέντρο
• Μηχανική Μάθηση VS Βαθιά Μάθηση: προβλήματα στα οποία η Μηχανική Μάθηση παραμένει σήμερα η τελευταία λέξη της τεχνολογίας (Random Forests & XGBoosts)

Βασικές Έννοιες ενός Νευρωνικού Δικτύου (Εφαρμογή: πολυστρωματικός perceptron)

• Υπενθύμιση μαθηματικών βάσεων.
• Ορισμός ενός δικτύου νευρώνων: κλασική αρχιτεκτονική, ενεργοποίηση και
• Στάθμιση προηγούμενων ενεργοποιήσεων, βάθος ενός δικτύου
• Ορισμός της μάθησης ενός δικτύου νευρώνων: συναρτήσεις κόστους, οπισθοδιάδοση, στοχαστική κατάβαση κλίσης, μέγιστη πιθανοφάνεια.
• Μοντελοποίηση ενός νευρωνικού δικτύου: μοντελοποίηση δεδομένων εισόδου και εξόδου σύμφωνα με τον τύπο του προβλήματος (παλινδρόμηση, ταξινόμηση ...). Κατάρα της διαστατικότητας.
• Διάκριση μεταξύ πολυχαρακτηριστικών δεδομένων και σήματος. Επιλογή συνάρτησης κόστους σύμφωνα με τα δεδομένα.
• Προσέγγιση μιας συνάρτησης από ένα δίκτυο νευρώνων: παρουσίαση και παραδείγματα
• Προσέγγιση μιας κατανομής από ένα δίκτυο νευρώνων: παρουσίαση και παραδείγματα
• Αύξηση Δεδομένων: πώς να εξισορροπήσετε ένα σύνολο δεδομένων
• Γενίκευση των αποτελεσμάτων ενός δικτύου νευρώνων.
• Αρχικοποίηση και κανονικοποίηση ενός νευρωνικού δικτύου: κανονικοποίηση L1 / L2, Κανονικοποίηση Παρτίδας
• Αλγόριθμοι βελτιστοποίησης και σύγκλισης

Τυπικά Εργαλεία ML / DL

Προβλέπεται μια απλή παρουσίαση με πλεονεκτήματα, μειονεκτήματα, θέση στο οικοσύστημα και χρήση.

• Εργαλεία διαχείρισης δεδομένων: Apache Spark, Εργαλεία Apache Hadoop
• Μηχανική Μάθηση: Numpy, Scipy, Sci-kit
• Πλαίσια υψηλού επιπέδου DL: PyTorch, Keras, Lasagne
• Πλαίσια χαμηλού επιπέδου DL: Theano, Torch, Caffe, Tensorflow

Συνελικτικά Νευρωνικά Δίκτυα (CNN).

• Παρουσίαση των CNN: θεμελιώδεις αρχές και εφαρμογές
• Βασική λειτουργία ενός CNN: συνελικτικό επίπεδο, χρήση πυρήνα,
• Γέμισμα & βήμα, δημιουργία χάρτη χαρακτηριστικών, επίπεδα υποδειγματοληψίας. Επεκτάσεις 1D, 2D και 3D.
• Παρουσίαση των διαφορετικών αρχιτεκτονικών CNN που έφεραν την τελευταία λέξη της τεχνολογίας στην ταξινόμηση
• Εικόνες: LeNet, Δίκτυα VGG, Δίκτυο σε Δίκτυο, Inception, Resnet. Παρουσίαση καινοτομιών που έφερε κάθε αρχιτεκτονική και οι πιο σφαιρικές εφαρμογές τους (Συνέλιξη 1x1 ή υπολειμματικές συνδέσεις)
• Χρήση μοντέλου προσοχής.
• Εφαρμογή σε μια κοινή περίπτωση ταξινόμησης (κείμενο ή εικόνα)
• CNN για παραγωγή: υπερ-ανάλυση, τμηματοποίηση εικονοστοιχείο προς εικονοστοιχείο. Παρουσίαση των
• Κύριες στρατηγικές για την αύξηση των χαρτών χαρακτηριστικών για παραγωγή εικόνας.

Αναδρομικά Νευρωνικά Δίκτυα (RNN).

• Παρουσίαση των RNN: θεμελιώδεις αρχές και εφαρμογές.
• Βασική λειτουργία του RNN: κρυφή ενεργοποίηση, οπισθοδιάδοση μέσα στον χρόνο, ξεδιπλωμένη έκδοση.
• Εξελίξεις προς τις Πύλες Επαναλαμβανόμενες Μονάδες (GRUs) και LSTM (Μακροπρόθεσμη Βραχυπρόθεσμη Μνήμη).
• Παρουσίαση των διαφορετικών καταστάσεων και των εξελίξεων που έφεραν αυτές οι αρχιτεκτονικές
• Προβλήματα σύγκλισης και εξαφανιζόμενης κλίσης
• Κλασικές αρχιτεκτονικές: Πρόβλεψη χρονοσειράς, ταξινόμηση ...
• Αρχιτεκτονική τύπου RNN Κωδικοποιητής Αποκωδικοποιητής. Χρήση μοντέλου προσοχής.
• Εφαρμογές NLP: κωδικοποίηση λέξεων / χαρακτήρων, μετάφραση.
• Εφαρμογές βίντεο: πρόβλεψη της επόμενης παραγόμενης εικόνας μιας ακολουθίας βίντεο.

Γενετικά μοντέλα: Μεταβλητός Αυτοκωδικοποιητής (VAE) και Γενετικά Ανταγωνιστικά Δίκτυα (GAN).

• Παρουσίαση των γενετικών μοντέλων, σύνδεση με τα CNN
• Αυτοκωδικοποιητής: μείωση διαστατικότητας και περιορισμένη παραγωγή
• Μεταβλητός Αυτοκωδικοποιητής: γενετικό μοντέλο και προσέγγιση της κατανομής ενός δεδομένου. Ορισμός και χρήση του λανθάνοντος χώρου. Τέχνασμα επαναπαραμετροποίησης. Εφαρμογές και παρατηρούμενα όρια
• Γενετικά Ανταγωνιστικά Δίκτυα: Θεμελιώδη.
• Αρχιτεκτονική Διπλού Δικτύου (Γεννήτορας και διαχωριστής) με εναλλακτική μάθηση, διαθέσιμες συναρτήσεις κόστους.
• Σύγκλιση ενός GAN και δυσκολίες που συναντώνται.
• Βελτιωμένη σύγκλιση: Wasserstein GAN, Began. Απόσταση Μετακίνησης Γης.
• Εφαρμογές για την παραγωγή εικόνων ή φωτογραφιών, παραγωγή κειμένου, υπερ-ανάλυση.

Βαθιά Ενισχυτική Μάθηση.

• Παρουσίαση της ενισχυτικής μάθησης: έλεγχος ενός πράκτορα σε ένα καθορισμένο περιβάλλον
• Από μια κατάσταση και πιθανές ενέργειες
• Χρήση ενός νευρωνικού δικτύου για την προσέγγιση της συνάρτησης κατάστασης
• Βαθιά Q Μάθηση: επανάληψη εμπειρίας και εφαρμογή στον έλεγχο ενός βιντεοπαιχνιδιού.
• Βελτιστοποίηση πολιτικής μάθησης. On-policy && off-policy. Αρχιτεκτονική ηθοποιού κριτικού. A3C.
• Εφαρμογές: έλεγχος ενός βιντεοπαιχνιδιού ή ενός ψηφιακού συστήματος.

Μέρος 2 – Theano για Βαθιά Μάθηση

Βασικά του Theano

• Εισαγωγή
• Εγκατάσταση και Διαμόρφωση

Συναρτήσεις Theano

• είσοδοι, έξοδοι, ενημερώσεις, δεδομένα

Εκπαίδευση και Βελτιστοποίηση ενός νευρωνικού δικτύου με χρήση Theano

• Μοντελοποίηση Νευρωνικού Δικτύου
• Λογιστική Παλινδρόμηση
• Κρυφά Επίπεδα
• Εκπαίδευση ενός δικτύου
• Υπολογισμός και Ταξινόμηση
• Βελτιστοποίηση
• Λογαριθμική Απώλεια

Δοκιμή του μοντέλου

Μέρος 3 – DNN με χρήση Tensorflow

Βασικά του TensorFlow

• Δημιουργία, Αρχικοποίηση, Αποθήκευση και Επαναφορά μεταβλητών TensorFlow
• Τροφοδότηση, Ανάγνωση και Προφόρτωση Δεδομένων TensorFlow
• Πώς να χρησιμοποιήσετε την υποδομή TensorFlow για εκπαίδευση μοντέλων σε κλίμακα
• Οπτικοποίηση και Αξιολόγηση μοντέλων με το TensorBoard

Μηχανική του TensorFlow

• Προετοιμασία των Δεδομένων
• Λήψη
• Είσοδοι και Δεσμευτές Θέσης
• Κατασκευή των Γραφημάτων
  • Συμπερασμός
  • Απώλεια
  • Εκπαίδευση
• Εκπαίδευση του Μοντέλου
  • Το Γράφημα
  • Η Συνεδρία
  • Βρόχος Εκπαίδευσης
• Αξιολόγηση του Μοντέλου
  • Κατασκευή του Γραφήματος Αξιολόγησης
  • Έξοδος Αξιολόγησης

Ο Perceptron

• Συναρτήσεις ενεργοποίησης
• Ο αλγόριθμος μάθησης perceptron
• Δυαδική ταξινόμηση με τον perceptron
• Ταξινόμηση εγγράφων με τον perceptron
• Περιορισμοί του perceptron

Από τον Perceptron στις Μηχανές Διανυσμάτων Υποστήριξης

• Πυρήνες και το τέχνασμα του πυρήνα
• Ταξινόμηση μέγιστου περιθωρίου και διανύσματα υποστήριξης

Τεχνητά Νευρωνικά Δίκτυα

• Μη γραμμικά όρια απόφασης
• Τεχνητά νευρωνικά δίκτυα εμπρόσθιας τροφοδότησης και ανατροφοδότησης
• Πολυστρωματικοί perceptrons
• Ελαχιστοποίηση της συνάρτησης κόστους
• Εμπρόσθια διάδοση
• Οπισθοδιάδοση
• Βελτίωση του τρόπου με τον οποίο μαθαίνουν τα νευρωνικά δίκτυα

Συνελικτικά Νευρωνικά Δίκτυα

• Στόχοι
• Αρχιτεκτονική Μοντέλου
• Αρχές
• Οργάνωση Κώδικα
• Εκκίνηση και Εκπαίδευση του Μοντέλου
• Αξιολόγηση ενός Μοντέλου

Βασικές Εισαγωγές που θα δοθούν στις παρακάτω ενότητες (Σύντομη Εισαγωγή θα παρασχεθεί ανάλογα με τη διαθεσιμότητα χρόνου):

Tensorflow - Προηγμένη Χρήση

• Νήματα και Ουρές
• Κατανεμημένο TensorFlow
• Συγγραφή Τεκμηρίωσης και Κοινή Χρήση του Μοντέλου σας
• Προσαρμογή Αναγνωστών Δεδομένων
• Χειρισμός Αρχείων Μοντέλου TensorFlow

Εξυπηρέτηση TensorFlow

• Εισαγωγή
• Βασικό Σεμινάριο Εξυπηρέτησης
• Προηγμένο Σεμινάριο Εξυπηρέτησης
• Σεμινάριο Εξυπηρέτησης Μοντέλου Inception