Επικοινωνήστε μαζί μας

Εξέλιξη Κομματιού

Εισαγωγή στα Μοντέλα Όρασης-Γλώσσας

  • Επισκόπηση των VLMs και του ρόλου τους στην πολυτροπική Τεχνητή Νοημοσύνη
  • Δημοφιλείς αρχιτεκτονικές: CLIP, Flamingo, BLIP, κ.ά.
  • Περιπτώσεις χρήσης: αναζήτηση, υποτιτλισμός, αυτόνομα συστήματα, ανάλυση περιεχομένου

Προετοιμασία του Περιβάλλοντος Λεπτομερούς Προσαρμογής

  • Εγκατάσταση του OpenCLIP και άλλων βιβλιοθηκών VLM
  • Μορφές συνόλων δεδομένων για ζεύγη εικόνας-κειμένου
  • Διαδικασίες προεπεξεργασίας για οπτικές και γλωσσικές εισόδους

Λεπτομερής Προσαρμογή του CLIP και Παρόμοιων Μοντέλων

  • Αντιθετική απώλεια και κοινόχρηστοι χώροι ενσωμάτωσης
  • Πρακτική: λεπτομερής προσαρμογή του CLIP σε προσαρμοσμένα σύνολα δεδομένων
  • Διαχείριση κλαδικών και πολύγλωσσων δεδομένων

Προηγμένες Τεχνικές Λεπτομερούς Προσαρμογής

  • Χρήση LoRA και μεθόδων βασισμένων σε προσαρμογείς για αποδοτικότητα
  • Ρύθμιση προτροπών και έγχυση οπτικών προτροπών
  • Συμβιβασμοί αξιολόγησης zero-shot έναντι λεπτομερούς προσαρμογής

Αξιολόγηση και Συγκριτική Αξιολόγηση

  • Μετρικές για VLMs: ακρίβεια ανάκτησης, BLEU, CIDEr, ανάκληση
  • Διαγνωστικά ευθυγράμμισης όρασης-κειμένου
  • Οπτικοποίηση χώρων ενσωμάτωσης και λανθασμένων ταξινομήσεων

Ανάπτυξη και Χρήση σε Πραγματικές Εφαρμογές

  • Εξαγωγή μοντέλων για συμπερασμό (TorchScript, ONNX)
  • Ενσωμάτωση VLMs σε διαδικασίες ή APIs
  • Θέματα πόρων και κλιμάκωση μοντέλων

Μελέτες Περιπτώσεων και Εφαρμοσμένα Σενάρια

  • Ανάλυση μέσων και διαχείριση περιεχομένου
  • Αναζήτηση και ανάκτηση σε ηλεκτρονικό εμπόριο και ψηφιακές βιβλιοθήκες
  • Πολυτροπική αλληλεπίδραση σε ρομποτική και αυτόνομα συστήματα

Σύνοψη και Επόμενα Βήματα

Απαιτήσεις

  • Κατανόηση της βαθιάς μάθησης για την όραση και την Επεξεργασία Φυσικής Γλώσσας (NLP)
  • Εμπειρία με το PyTorch και μοντέλα βασισμένα σε transformers
  • Εξοικείωση με πολυτροπικές αρχιτεκτονικές μοντέλων

Κοινό

  • Μηχανικοί υπολογιστικής όρασης
  • Προγραμματιστές Τεχνητής Νοημοσύνης
 14 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες