Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Training Course
Parameter-Efficient Fine-Tuning (PEFT) is a collection of techniques that enable efficient adaptation of large language models (LLMs) by modifying only a small subset of parameters.
This instructor-led, live training (online or onsite) is aimed at intermediate-level data scientists and AI engineers who wish to fine-tune large language models more affordably and efficiently using methods like LoRA, Adapter Tuning, and Prefix Tuning.
By the end of this training, participants will be able to:
- Understand the theory behind parameter-efficient fine-tuning approaches.
- Implement LoRA, Adapter Tuning, and Prefix Tuning using Hugging Face PEFT.
- Compare performance and cost trade-offs of PEFT methods vs. full fine-tuning.
- Deploy and scale fine-tuned LLMs with reduced compute and storage requirements.
Format of the Course
- Interactive lecture and discussion.
- Lots of exercises and practice.
- Hands-on implementation in a live-lab environment.
Course Customization Options
- To request a customized training for this course, please contact us to arrange.
Course Outline
Introduction to Parameter-Efficient Fine-Tuning (PEFT)
- Motivation and limitations of full fine-tuning
- Overview of PEFT: goals and benefits
- Applications and use cases in industry
LoRA (Low-Rank Adaptation)
- Concept and intuition behind LoRA
- Implementing LoRA using Hugging Face and PyTorch
- Hands-on: Fine-tuning a model with LoRA
Adapter Tuning
- How adapter modules work
- Integration with transformer-based models
- Hands-on: Applying Adapter Tuning to a transformer model
Prefix Tuning
- Using soft prompts for fine-tuning
- Strengths and limitations compared to LoRA and adapters
- Hands-on: Prefix Tuning on an LLM task
Evaluating and Comparing PEFT Methods
- Metrics for evaluating performance and efficiency
- Trade-offs in training speed, memory usage, and accuracy
- Benchmarking experiments and result interpretation
Deploying Fine-Tuned Models
- Saving and loading fine-tuned models
- Deployment considerations for PEFT-based models
- Integrating into applications and pipelines
Best Practices and Extensions
- Combining PEFT with quantization and distillation
- Use in low-resource and multilingual settings
- Future directions and active research areas
Summary and Next Steps
Requirements
- An understanding of machine learning fundamentals
- Experience working with large language models (LLMs)
- Familiarity with Python and PyTorch
Audience
- Data scientists
- AI engineers
Open Training Courses require 5+ participants.
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Training Course - Booking
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs Training Course - Enquiry
Parameter-Efficient Fine-Tuning (PEFT) Techniques for LLMs - Consultancy Enquiry
Consultancy Enquiry
Upcoming Courses
Related Courses
Advanced Techniques in Transfer Learning
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες μηχανικής εκμάθησης προηγμένου επιπέδου που επιθυμούν να κατακτήσουν τις σύγχρονες τεχνικές μεταφοράς εκμάθησης και να τις εφαρμόσουν σε πολύπλοκα προβλήματα του πραγματικού κόσμου.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε προηγμένες έννοιες και μεθοδολογίες στη μεταφορά μάθησης.
- Εφαρμογή τεχνικών προσαρμογής σε συγκεκριμένο τομέα για προεκπαιδευμένα μοντέλα.
- Εφαρμόστε συνεχή μάθηση για τη διαχείριση εξελισσόμενων εργασιών και συνόλων δεδομένων.
- Κατακτήστε τη λεπτομέρεια πολλαπλών εργασιών για να βελτιώσετε την απόδοση του μοντέλου σε όλες τις εργασίες.
AI Automation with n8n and LangChain
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές και επαγγελματίες πληροφορικής όλων των επιπέδων δεξιοτήτων που επιθυμούν να αυτοματοποιήσουν εργασίες και διαδικασίες χρησιμοποιώντας AI χωρίς να γράφουν εκτεταμένο κώδικα.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Σχεδιάστε και εφαρμόστε σύνθετες ροές εργασίας χρησιμοποιώντας την οπτική διεπαφή προγραμματισμού του n8n.
- Ενσωματώστε τις δυνατότητες AI στις ροές εργασιών χρησιμοποιώντας το LangChain.
- Δημιουργήστε προσαρμοσμένα chatbot και εικονικούς βοηθούς για διάφορες περιπτώσεις χρήσης.
- Εκτελέστε προηγμένη ανάλυση και επεξεργασία δεδομένων με πράκτορες AI.
Automating Workflows with LangChain and APIs
14 HoursΑυτή η ζωντανή εκπαίδευση στο Ελλάδα από εκπαιδευτές (διαδικτυακή ή επιτόπου) απευθύνεται σε αρχάριους επιχειρησιακούς αναλυτές και μηχανικούς αυτοματισμού που επιθυμούν να κατανοήσουν πώς να χρησιμοποιούν το LangChain και τα API για την αυτοματοποίηση επαναλαμβανόμενων εργασιών και ροών εργασίας.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τα βασικά της ενσωμάτωσης API με το LangChain.
- Αυτοματοποιήστε τις επαναλαμβανόμενες ροές εργασίας χρησιμοποιώντας τα LangChain και Python.
- Χρησιμοποιήστε το LangChain για να συνδέσετε διάφορα API για αποτελεσματικές επιχειρηματικές διαδικασίες.
- Δημιουργήστε και αυτοματοποιήστε προσαρμοσμένες ροές εργασίας χρησιμοποιώντας API και τις δυνατότητες αυτοματοποίησης του LangChain.
Building Conversational Agents with LangChain
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες μεσαίου επιπέδου που επιθυμούν να εμβαθύνουν στην κατανόησή τους για τους συνομιλητές και να εφαρμόσουν το LangChain σε περιπτώσεις χρήσης πραγματικού κόσμου.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις βασικές αρχές του LangChain και την εφαρμογή του στη δημιουργία πρακτόρων συνομιλίας.
- Αναπτύξτε και αναπτύξτε τους συνομιλητές χρησιμοποιώντας το LangChain.
- Ενσωματώστε τους συνομιλητές με API και εξωτερικές υπηρεσίες.
- Εφαρμόστε τεχνικές Natural Language Processing (NLP) για να βελτιώσετε την απόδοση των συνομιλητών.
Building Private AI Workflows with Ollama
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακά ή επιτόπου) απευθύνεται σε επαγγελματίες προχωρημένου επιπέδου που επιθυμούν να εφαρμόσουν ασφαλείς και αποτελεσματικές ροές εργασιών με γνώμονα την τεχνητή νοημοσύνη χρησιμοποιώντας το Ollama.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Αναπτύξτε και διαμορφώστε το Ollama για ιδιωτική επεξεργασία AI.
- Ενσωματώστε μοντέλα AI σε ασφαλείς ροές εργασιών για επιχειρήσεις.
- Βελτιστοποιήστε την απόδοση AI διατηρώντας παράλληλα το απόρρητο των δεδομένων.
- Αυτοματοποιήστε τις επιχειρηματικές διαδικασίες με δυνατότητες εσωτερικής τεχνητής νοημοσύνης.
- Διασφαλίστε τη συμμόρφωση με τις πολιτικές ασφάλειας και διακυβέρνησης της επιχείρησης.
Deploying Fine-Tuned Models in Production
21 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες προηγμένου επιπέδου που επιθυμούν να αναπτύξουν βελτιωμένα μοντέλα αξιόπιστα και αποτελεσματικά.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις προκλήσεις της ανάπτυξης βελτιωμένων μοντέλων στην παραγωγή.
- Δημιουργήστε κοντέινερ και αναπτύξτε μοντέλα χρησιμοποιώντας εργαλεία όπως Docker και Kubernetes.
- Εφαρμογή παρακολούθησης και καταγραφής για αναπτυγμένα μοντέλα.
- Βελτιστοποιήστε μοντέλα για καθυστέρηση και επεκτασιμότητα σε σενάρια πραγματικού κόσμου.
Deploying and Optimizing LLMs with Ollama
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες μεσαίου επιπέδου που επιθυμούν να αναπτύξουν, να βελτιστοποιήσουν και να ενσωματώσουν LLM χρησιμοποιώντας το Ollama.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε και αναπτύξτε LLM χρησιμοποιώντας το Ollama.
- Βελτιστοποιήστε τα μοντέλα AI για απόδοση και αποδοτικότητα.
- Αξιοποιήστε την επιτάχυνση GPU για βελτιωμένες ταχύτητες συμπερασμάτων.
- Ενσωματώστε το Ollama σε ροές εργασίας και εφαρμογές.
- Παρακολουθήστε και διατηρήστε την απόδοση του μοντέλου AI με την πάροδο του χρόνου.
Ethical Considerations in AI Development with LangChain
21 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε ερευνητές και υπεύθυνους χάραξης πολιτικής τεχνητής νοημοσύνης προχωρημένου επιπέδου που επιθυμούν να εξερευνήσουν τις ηθικές επιπτώσεις της ανάπτυξης της τεχνητής νοημοσύνης και να μάθουν πώς να εφαρμόζουν ηθικές οδηγίες κατά την κατασκευή λύσεων τεχνητής νοημοσύνης με [ 0].
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Προσδιορίστε βασικά ζητήματα ηθικής στην ανάπτυξη AI με το LangChain.
- Κατανοήστε τον αντίκτυπο της τεχνητής νοημοσύνης στην κοινωνία και τις διαδικασίες λήψης αποφάσεων.
- Αναπτύξτε στρατηγικές για τη δημιουργία δίκαιων και διαφανών συστημάτων AI.
- Εφαρμόστε κατευθυντήριες γραμμές ηθικής τεχνητής νοημοσύνης σε έργα που βασίζονται σε LangChain.
Enhancing User Experience with LangChain in Web Apps
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές ιστού μεσαίου επιπέδου και σχεδιαστές UX που επιθυμούν να αξιοποιήσουν το LangChain για να δημιουργήσουν εύχρηστες και φιλικές προς το χρήστη εφαρμογές Ιστού.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις θεμελιώδεις έννοιες του LangChain και τον ρόλο του στη βελτίωση της εμπειρίας των χρηστών του Ιστού.
- Εφαρμόστε το LangChain σε εφαρμογές Ιστού για να δημιουργήσετε δυναμικές και αποκριτικές διεπαφές.
- Ενσωματώστε API σε εφαρμογές ιστού για να βελτιώσετε τη διαδραστικότητα και την αφοσίωση των χρηστών.
- Βελτιστοποιήστε την εμπειρία χρήστη χρησιμοποιώντας τις προηγμένες δυνατότητες προσαρμογής του LangChain.
- Αναλύστε δεδομένα συμπεριφοράς χρηστών για να βελτιώσετε την απόδοση και την εμπειρία της εφαρμογής Ιστού.
Fine-Tuning and Customizing AI Models on Ollama
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες προχωρημένου επιπέδου που επιθυμούν να τελειοποιήσουν και να προσαρμόσουν μοντέλα τεχνητής νοημοσύνης στο Ollama για βελτιωμένη απόδοση και εφαρμογές σε συγκεκριμένο τομέα.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε ένα αποτελεσματικό περιβάλλον για τη βελτίωση των μοντέλων τεχνητής νοημοσύνης στο Ollama.
- Προετοιμάστε σύνολα δεδομένων για εποπτευόμενη λεπτομέρεια και ενίσχυση της εκμάθησης.
- Βελτιστοποιήστε τα μοντέλα AI για απόδοση, ακρίβεια και αποτελεσματικότητα.
- Αναπτύξτε προσαρμοσμένα μοντέλα σε περιβάλλοντα παραγωγής.
- Αξιολογήστε τις βελτιώσεις του μοντέλου και εξασφαλίστε στιβαρότητα.
LangChain: Building AI-Powered Applications
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές μεσαίου επιπέδου και μηχανικούς λογισμικού που επιθυμούν να δημιουργήσουν εφαρμογές με τεχνητή νοημοσύνη χρησιμοποιώντας το πλαίσιο LangChain.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις βασικές αρχές του LangChain και των στοιχείων του.
- Ενσωματώστε το LangChain με μεγάλα γλωσσικά μοντέλα (LLM) όπως το GPT-4.
- Δημιουργήστε αρθρωτές εφαρμογές AI χρησιμοποιώντας το LangChain.
- Αντιμετώπιση προβλημάτων κοινών προβλημάτων σε εφαρμογές LangChain.
Integrating LangChain with Cloud Services
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε μηχανικούς δεδομένων προηγμένου επιπέδου και σε επαγγελματίες DevOps που επιθυμούν να αξιοποιήσουν τις δυνατότητες του LangChain ενσωματώνοντάς το με διάφορες υπηρεσίες cloud.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ενσωματώστε το LangChain με μεγάλες πλατφόρμες cloud όπως τα AWS, Azure και Google Cloud.
- Χρησιμοποιήστε API και υπηρεσίες που βασίζονται σε σύννεφο για να βελτιώσετε εφαρμογές που υποστηρίζονται από LangChain.
- Κλιμακώστε και αναπτύξτε τους συνομιλητές στο cloud για αλληλεπίδραση σε πραγματικό χρόνο.
- Εφαρμόστε βέλτιστες πρακτικές παρακολούθησης και ασφάλειας σε περιβάλλοντα cloud.
LangChain for Data Analysis and Visualization
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες δεδομένων μεσαίου επιπέδου που επιθυμούν να χρησιμοποιήσουν το LangChain για να βελτιώσουν τις ικανότητές τους ανάλυσης και οπτικοποίησης δεδομένων.
Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Αυτοματοποιήστε την ανάκτηση και τον καθαρισμό δεδομένων χρησιμοποιώντας το LangChain.
- Πραγματοποιήστε προηγμένη ανάλυση δεδομένων χρησιμοποιώντας Python και LangChain.
- Δημιουργήστε οπτικοποιήσεις με το Matplotlib και άλλες Python βιβλιοθήκες ενσωματωμένες στο LangChain.
- Μόχλευση LangChain για τη δημιουργία πληροφοριών φυσικής γλώσσας από την ανάλυση δεδομένων.
LangChain Fundamentals
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε αρχάριους έως μεσαίου επιπέδου προγραμματιστές και μηχανικούς λογισμικού που επιθυμούν να μάθουν τις βασικές έννοιες και την αρχιτεκτονική του LangChain και να αποκτήσουν τις πρακτικές δεξιότητες για την κατασκευή AI- τροφοδοτούμενες εφαρμογές.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Πιάστε τις θεμελιώδεις αρχές του LangChain.
- Ρυθμίστε και διαμορφώστε το περιβάλλον LangChain.
- Κατανοήστε την αρχιτεκτονική και πώς αλληλεπιδρά το LangChain με μεγάλα γλωσσικά μοντέλα (LLM).
- Αναπτύξτε απλές εφαρμογές χρησιμοποιώντας το LangChain.
Getting Started with Ollama: Running Local AI Models
7 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επαγγελματίες αρχάριου επιπέδου που επιθυμούν να εγκαταστήσουν, να διαμορφώσουν και να χρησιμοποιήσουν το Ollama για την εκτέλεση μοντέλων τεχνητής νοημοσύνης στις τοπικές τους μηχανές.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Κατανοήστε τις βασικές αρχές του Ollama και τις δυνατότητές του.
- Ρυθμίστε το Ollama για την εκτέλεση τοπικών μοντέλων AI.
- Αναπτύξτε και αλληλεπιδράστε με LLM χρησιμοποιώντας το Ollama.
- Βελτιστοποιήστε την απόδοση και τη χρήση πόρων για φόρτους εργασίας AI.
- Εξερευνήστε περιπτώσεις χρήσης για τοπική ανάπτυξη τεχνητής νοημοσύνης σε διάφορους κλάδους.