Κατανόηση των Βαθιών Νευρωνικών Δικτύων Κομμάτι εκπαίδευσης

Μέρος 1 – Έννοιες Βαθιάς Μάθησης και DNN

Εισαγωγή στην Τεχνητή Νοημοσύνη, Μηχανική Μάθηση & Βαθιά Μάθηση

• Ιστορία, βασικές έννοιες και συνήθεις εφαρμογές της τεχνητής νοημοσύνης μακριά από τις φαντασιώσεις που συνοδεύουν αυτόν τον τομέα
• Συλλογική Νοημοσύνη: συγκέντρωση γνώσης που μοιράζονται πολλοί εικονικοί πράκτορες
• Γενετικοί αλγόριθμοι: εξέλιξη ενός πληθυσμού εικονικών πρακτόρων μέσω επιλογής
• Συνήθης Μηχανή Μάθησης: ορισμός.
• Τύποι εργασιών: επιβλεπόμενη μάθηση, μη επιβλεπόμενη μάθηση, ενισχυτική μάθηση
• Τύποι ενεργειών: ταξινόμηση, παλινδρόμηση, συσταδοποίηση, εκτίμηση πυκνότητας, μείωση διαστατικότητας
• Παραδείγματα αλγορίθμων Μηχανικής Μάθησης: Γραμμική παλινδρόμηση, Naive Bayes, Τυχαίο Δέντρο
• Μηχανική μάθηση VS Βαθιά Μάθηση: προβλήματα στα οποία η Μηχανική Μάθηση παραμένει σήμερα η τελευταία λέξη της τεχνολογίας (Random Forests & XGBoosts)

Βασικές Έννοιες ενός Νευρωνικού Δικτύου (Εφαρμογή: πολυεπίπεδος αισθητήρας)

• Υπενθύμιση μαθηματικών βάσεων.
• Ορισμός ενός δικτύου νευρώνων: κλασική αρχιτεκτονική, ενεργοποίηση και
• Στάθμιση προηγούμενων ενεργοποιήσεων, βάθος ενός δικτύου
• Ορισμός της μάθησης ενός δικτύου νευρώνων: συναρτήσεις κόστους, ανάστροφη διάδοση, στοχαστική κατάβαση κλίσης, μέγιστη πιθανοφάνεια.
• Μοντελοποίηση ενός νευρωνικού δικτύου: μοντελοποίηση δεδομένων εισόδου και εξόδου ανάλογα με τον τύπο του προβλήματος (παλινδρόμηση, ταξινόμηση ...). Η κατάρα της διαστατικότητας.
• Διάκριση μεταξύ δεδομένων πολλαπλών χαρακτηριστικών και σήματος. Επιλογή μιας συνάρτησης κόστους σύμφωνα με τα δεδομένα.
• Προσέγγιση μιας συνάρτησης από ένα δίκτυο νευρώνων: παρουσίαση και παραδείγματα
• Προσέγγιση μιας κατανομής από ένα δίκτυο νευρώνων: παρουσίαση και παραδείγματα
• Εμπλουτισμός Δεδομένων: πώς να εξισορροπήσετε ένα σύνολο δεδομένων
• Γενίκευση των αποτελεσμάτων ενός δικτύου νευρώνων.
• Αρχικοποίηση και κανονικοποίηση ενός νευρωνικού δικτύου: κανονικοποίηση L1 / L2, Κανονικοποίηση Παρτίδας (Batch Normalization)
• Αλγόριθμοι βελτιστοποίησης και σύγκλισης

Τυπικά Εργαλεία ML / DL

Μια απλή παρουσίαση με πλεονεκτήματα, μειονεκτήματα, θέση στο οικοσύστημα και χρήση έχει προγραμματιστεί.

• Εργαλεία διαχείρισης δεδομένων: Apache Spark, Εργαλεία Apache Hadoop
• Μηχανική Μάθηση: Numpy, Scipy, Sci-kit
• Υψηλού επιπέδου πλαίσια DL: PyTorch, Keras, Lasagne
• Χαμηλού επιπέδου πλαίσια DL: Theano, Torch, Caffe, Tensorflow

Συνελικτικά Νευρωνικά Δίκτυα (CNN).

• Παρουσίαση των CNN: βασικές αρχές και εφαρμογές
• Βασική λειτουργία ενός CNN: συνελικτικό επίπεδο, χρήση ενός πυρήνα,
• Γέμισμα & βήμα, δημιουργία χάρτη χαρακτηριστικών, επίπεδα συγκέντρωσης. Επεκτάσεις 1D, 2D και 3D.
• Παρουσίαση των διαφόρων αρχιτεκτονικών CNN που έφεραν την τελευταία λέξη της τεχνολογίας στην ταξινόμηση
• Εικόνες: LeNet, VGG Networks, Network in Network, Inception, Resnet. Παρουσίαση των καινοτομιών που έφερε κάθε αρχιτεκτονική και των πιο γενικών εφαρμογών τους (Συνέλιξη 1x1 ή υπολειπόμενες συνδέσεις)
• Χρήση ενός μοντέλου προσοχής.
• Εφαρμογή σε μια κοινή περίπτωση ταξινόμησης (κείμενο ή εικόνα)
• CNN για παραγωγή: υπερ-ανάλυση, κατάτμηση pixel-to-pixel. Παρουσίαση των
• Κύριες στρατηγικές για την αύξηση των χαρτών χαρακτηριστικών για παραγωγή εικόνας.

Αναδρομικά Νευρωνικά Δίκτυα (RNN).

• Παρουσίαση των RNN: βασικές αρχές και εφαρμογές.
• Βασική λειτουργία του RNN: κρυφή ενεργοποίηση, ανάστροφη διάδοση μέσω χρόνου, ξεδιπλωμένη έκδοση.
• Εξελίξεις προς τις Gated Recurrent Units (GRUs) και τα LSTM (Long Short-Term Memory).
• Παρουσίαση των διαφόρων καταστάσεων και των εξελίξεων που έφεραν αυτές οι αρχιτεκτονικές
• Προβλήματα σύγκλισης και εξαφανιζόμενης κλίσης
• Κλασικές αρχιτεκτονικές: Πρόβλεψη χρονοσειράς, ταξινόμηση ...
• Αρχιτεκτονική τύπου RNN Encoder Decoder. Χρήση ενός μοντέλου προσοχής.
• Εφαρμογές NLP: κωδικοποίηση λέξεων / χαρακτήρων, μετάφραση.
• Εφαρμογές βίντεο: πρόβλεψη της επόμενης παραγόμενης εικόνας μιας ακολουθίας βίντεο.

Μοντέλα παραγωγής: Μεταβλητός Αυτοκωδικοποιητής (VAE) και Παραγωγικά Ανταγωνιστικά Δίκτυα (GAN).

• Παρουσίαση των μοντέλων παραγωγής, σύνδεση με τα CNN
• Αυτοκωδικοποιητής: μείωση διαστατικότητας και περιορισμένη παραγωγή
• Μεταβλητός Αυτοκωδικοποιητής: μοντέλο παραγωγής και προσέγγιση της κατανομής ενός δεδομένου. Ορισμός και χρήση λανθάνοντος χώρου. Τέχνασμα επαναπαραμετροποίησης. Εφαρμογές και παρατηρούμενα όρια
• Παραγωγικά Ανταγωνιστικά Δίκτυα: Βασικές αρχές.
• Διπλή αρχιτεκτονική δικτύου (Γεννήτρια και Διακριντής) με εναλλασσόμενη μάθηση, διαθέσιμες συναρτήσεις κόστους.
• Σύγκλιση ενός GAN και δυσκολίες που συναντώνται.
• Βελτιωμένη σύγκλιση: Wasserstein GAN, Began. Earth Moving Distance.
• Εφαρμογές για παραγωγή εικόνων ή φωτογραφιών, παραγωγή κειμένου, υπερ-ανάλυση.

Βαθιά Ενισχυτική Μάθηση.

• Παρουσίαση της ενισχυτικής μάθησης: έλεγχος ενός πράκτορα σε ένα καθορισμένο περιβάλλον
• Μέσω μιας κατάστασης και πιθανών ενεργειών
• Χρήση ενός νευρωνικού δικτύου για προσέγγιση της συνάρτησης κατάστασης
• Deep Q Learning: επανάληψη εμπειρίας, και εφαρμογή στον έλεγχο ενός βιντεοπαιχνιδιού.
• Βελτιστοποίηση πολιτικής μάθησης. On-policy && off-policy. Αρχιτεκτονική Actor Critic. A3C.
• Εφαρμογές: έλεγχος ενός βιντεοπαιχνιδιού ή ενός ψηφιακού συστήματος.

Μέρος 2 – Theano για Βαθιά Μάθηση

Βασικές Αρχές του Theano

• Εισαγωγή
• Εγκατάσταση και Ρύθμιση

Συναρτήσεις του Theano

• είσοδοι, έξοδοι, ενημερώσεις, givens

Εκπαίδευση και Βελτιστοποίηση ενός νευρωνικού δικτύου χρησιμοποιώντας το Theano

• Μοντελοποίηση Νευρωνικού Δικτύου
• Λογιστική Παλινδρόμηση
• Κρυφά Επίπεδα
• Εκπαίδευση ενός δικτύου
• Υπολογισμός και Ταξινόμηση
• Βελτιστοποίηση
• Λογαριθμική Απώλεια

Δοκιμή του μοντέλου

Μέρος 3 – DNN χρησιμοποιώντας το Tensorflow

Βασικές Αρχές του TensorFlow

• Δημιουργία, Αρχικοποίηση, Αποθήκευση και Επαναφορά μεταβλητών του TensorFlow
• Τροφοδοσία, Ανάγνωση και Προφόρτωση Δεδομένων του TensorFlow
• Πώς να χρησιμοποιήσετε την υποδομή του TensorFlow για εκπαίδευση μοντέλων σε κλίμακα
• Οπτικοποίηση και Αξιολόγηση μοντέλων με το TensorBoard

Μηχανική του TensorFlow

• Προετοιμασία των Δεδομένων
• Λήψη
• Είσοδοι και Placeholders
• Δημιουργία των Γραφημάτων
  • Συμπερασμός
  • Απώλεια
  • Εκπαίδευση
• Εκπαίδευση του Μοντέλου
  • Το Γράφημα
  • Η Συνεδρία
  • Βρόχος Εκπαίδευσης
• Αξιολόγηση του Μοντέλου
  • Δημιουργία του Γραφήματος Αξιολόγησης
  • Έξοδος Αξιολόγησης

Ο Αισθητήρας (Perceptron)

• Συναρτήσεις ενεργοποίησης
• Ο αλγόριθμος μάθησης του αισθητήρα
• Δυαδική ταξινόμηση με τον αισθητήρα
• Ταξινόμηση εγγράφων με τον αισθητήρα
• Περιορισμοί του αισθητήρα

Από τον Αισθητήρα στις Μηχανές Διανυσμάτων Υποστήριξης

• Πυρήνες και το τέχνασμα του πυρήνα
• Ταξινόμηση μέγιστου περιθωρίου και διανύσματα υποστήριξης

Τεχνητά Νευρωνικά Δίκτυα

• Μη γραμμικά όρια απόφασης
• Εμπροσθόδρομα και ανατροφοδοτούμενα τεχνητά νευρωνικά δίκτυα
• Πολυεπίπεδοι αισθητήρες
• Ελαχιστοποίηση της συνάρτησης κόστους
• Πρόσθια διάδοση
• Ανάστροφη διάδοση
• Βελτίωση του τρόπου με τον οποίο μαθαίνουν τα νευρωνικά δίκτυα

Συνελικτικά Νευρωνικά Δίκτυα

• Στόχοι
• Αρχιτεκτονική Μοντέλου
• Αρχές
• Οργάνωση Κώδικα
• Εκκίνηση και Εκπαίδευση του Μοντέλου
• Αξιολόγηση ενός Μοντέλου

Βασικές Εισαγωγές που θα δοθούν στις παρακάτω ενότητες (Σύντομη Εισαγωγή θα παρέχεται ανάλογα με τη διαθεσιμότητα χρόνου):

Tensorflow - Προηγμένη Χρήση

• Νήματα και Ουρές
• Κατανεμημένο TensorFlow
• Συγγραφή Τεκμηρίωσης και Κοινή Χρήση του Μοντέλου σας
• Προσαρμογή Αναγνωστών Δεδομένων
• Χειρισμός Αρχείων Μοντέλου του TensorFlow

TensorFlow Serving

• Εισαγωγή
• Βασικό Σεμινάριο Serving
• Προηγμένο Σεμινάριο Serving
• Σεμινάριο Serving του Μοντέλου Inception