Επικοινωνήστε μαζί μας

Εξέλιξη Κομματιού

Βασικές Αρχές Παραγωγής του Tencent Hunyuan

  • Επισκόπηση σεναρίων εξυπηρέτησης μοντέλων Tencent Hunyuan
  • Χαρακτηριστικά παραγωγής μεγάλων μοντέλων και μοντέλων MoE
  • Συνήθη σημεία συμφόρησης καθυστέρησης, απόδοσης και κόστους
  • Καθορισμός στόχων επιπέδου υπηρεσίας για φόρτους εργασίας συμπερασματολογίας

Αρχιτεκτονική Ανάπτυξης και Ροή Εξυπηρέτησης

  • Βασικά στοιχεία μιας στοίβας συμπερασματολογίας παραγωγής
  • Επιλογή μεταξύ μοντέλων ανάπτυξης με containers, επιτόπιας εγκατάστασης και cloud
  • Βασικές αρχές φόρτωσης μοντέλων, δρομολόγησης αιτημάτων και κατανομής GPU
  • Σχεδιασμός για αξιοπιστία και λειτουργική απλότητα

Βελτιστοποίηση Καθυστέρησης στην Πράξη

  • Χρήση βελτιστοποιημένων μηχανών συμπερασματολογίας όπως το TensorRT όπου εφαρμόζεται
  • Έννοιες KV-cache και πρακτική ρύθμιση cache
  • Μείωση του φόρτου εκκίνησης, προθέρμανσης και απόκρισης
  • Μέτρηση του χρόνου μέχρι το πρώτο token και της ταχύτητας παραγωγής token

Απόδοση, Ομαδοποίηση και Αποδοτικότητα GPU

  • Συνεχής ομαδοποίηση και στρατηγικές ομαδοποίησης αιτημάτων
  • Διαχείριση ταυτοχρονισμού και συμπεριφοράς ουράς
  • Βελτίωση της αξιοποίησης GPU χωρίς να βλάπτεται η εμπειρία χρήστη
  • Χειρισμός αιτημάτων μεγάλου πλαισίου και μικτού φόρτου εργασίας

Κβαντισμός και Έλεγχος Κόστους

  • Γιατί ο κβαντισμός έχει σημασία για την εξυπηρέτηση παραγωγής
  • Πρακτικές αντισταθμίσεις των FP16, INT8 και άλλων κοινών επιλογών ακρίβειας
  • Εξισορρόπηση ποιότητας μοντέλου, καθυστέρησης και κόστους υποδομής
  • Δημιουργία μιας απλής λίστας ελέγχου βελτιστοποίησης κόστους

Λειτουργίες, Παρακολούθηση και Έλεγχος Ετοιμότητας

  • Ενεργοποιητές αυτόματης κλιμάκωσης για υπηρεσίες συμπερασματολογίας
  • Παρακολούθηση καθυστέρησης, απόδοσης, χρήσης cache και υγείας GPU
  • Βασικές αρχές καταγραφής, ειδοποίησης και απόκρισης σε περιστατικά
  • Επισκόπηση μιας αναφοράς ανάπτυξης και δημιουργία ενός σχεδίου βελτίωσης

Απαιτήσεις

  • Βασική κατανόηση της ανάπτυξης μεγάλων γλωσσικών μοντέλων και ροών εργασίας συμπερασματολογίας
  • Εμπειρία με containers, υποδομή cloud ή επιτόπιας εγκατάστασης, και υπηρεσίες που βασίζονται σε API
  • Λειτουργική γνώση Python ή εργασιών μηχανικής συστημάτων

Κοινό

  • Μηχανικοί μηχανικής μάθησης (ML) που αναπτύσσουν LLMs σε παραγωγή
  • Μηχανικοί πλατφόρμας υπεύθυνοι για υπηρεσίες συμπερασματολογίας βασισμένες σε GPU
  • Αρχιτέκτονες λύσεων που σχεδιάζουν κλιμακώσιμες πλατφόρμες εξυπηρέτησης AI
 14 Ώρες

Αριθμός συμμετέχοντων


Τιμή ανά συμμετέχοντα

Εφεξής Μαθήματα

Σχετικές Κατηγορίες