Εξέλιξη Κομματιού
Βασικά Στοιχεία Διαχείρισης Kafka
- Πού ταιριάζει το Kafka σε μια σύγχρονη πλατφόρμα δεδομένων και τυπικές αρμοδιότητες παραγωγής
- Βασικές έννοιες για διαχειριστές: brokers, topics, partitions, offsets, consumer groups
- Βασικές αρχές αναπαραγωγής: ηγέτες και ακόλουθοι, σύγχρονα αντίγραφα (in-sync replicas), ανταλλάγματα διαθεσιμότητας
- Λειτουργικά σημεία αναφοράς του Kafka και κοινή ορολογία που χρησιμοποιείται στα runbooks
Λειτουργία KRaft και Σχεδιασμός Συστοιχίας
- Βασικές αρχές KRaft: ελεγκτές, απαρτία μεταδεδομένων, εκλογές και γιατί έχει σημασία λειτουργικά
- Σχεδιασμός ανάπτυξης: διαστασιολόγηση για απόδοση, κατατμήσεις, διατήρηση και ανάπτυξη
- Ρόλοι κόμβων και διάταξη: συνδυασμένοι έναντι αποκλειστικών ελεγκτών, προβληματισμοί τομέων σφάλματος
- Εργαστήριο: επιθεώρηση μεταδεδομένων KRaft, επικύρωση υγείας απαρτίας και ερμηνεία καταγραφών ελεγκτή
Εγκατάσταση, Παραμετροποίηση και Καθημερινές Λειτουργίες
- Προσεγγίσεις εγκατάστασης (πακέτα, tarball, containers) και τι να τυποποιήσετε σε εταιρικά περιβάλλοντα
- Βασικές ρυθμίσεις broker που επηρεάζουν την αξιοπιστία: listeners, αναπαραγωγή, κατάλογοι καταγραφών, διατήρηση
- Ασφαλείς λειτουργίες υπηρεσιών: σειρά εκκίνησης, ομαλή απενεργοποίηση και έλεγχοι επικύρωσης
- Εργαστήριο: ανάπτυξη συστοιχίας πολλαπλών κόμβων, επαλήθευση εγγραφής brokers και επιβεβαίωση βασικής παραγωγής και κατανάλωσης
Διαχείριση Θεμάτων, Κατατμήσεων και Τοποθέτησης Δεδομένων
- Κύκλος ζωής θεμάτων με χρήση της γραμμής εντολών Kafka: δημιουργία, περιγραφή, ενημέρωση ρυθμίσεων, διαγραφή
- Επιλογή κατατμήσεων και παραγόντων αναπαραγωγής για πραγματικούς φόρτους εργασίας, συμπεριλαμβανομένων των συνηθισμένων αντί-προτύπων
- Επανακατανομή και εξισορρόπηση: πότε να μετακινήσετε κατατμήσεις και πώς να επαληθεύσετε την πρόοδο με ασφάλεια
- Εργαστήριο: δημιουργία θεμάτων, ενεργοποίηση επανακατανομής κατατμήσεων, προσομοίωση διακοπής λειτουργίας broker και επιβεβαίωση ανάκτησης
Ασφάλιση του Kafka για Παραγωγή
- TLS για κίνηση πελάτη και μεταξύ brokers: πιστοποιητικά, αλυσίδες εμπιστοσύνης και βήματα επικύρωσης
- Πιστοποίηση με SASL: επιλογή κοινών μηχανισμών και αποφυγή κακής ρύθμισης
- Εξουσιοδότηση με ACLs: μοτίβα ελάχιστων προνομίων για διαχειριστές, παραγωγούς και καταναλωτές
- Εργαστήριο: ενεργοποίηση TLS και SASL, επικύρωση συνδεσιμότητας πελάτη και εφαρμογή ACLs για ρόλους εφαρμογών
Παρατηρησιμότητα, Αξιοπιστία και Επίλυση Προβλημάτων
- Βασικά στοιχεία παρακολούθησης: υγεία ελεγκτή, υπο-αναπαραγόμενες κατατμήσεις, καθυστέρηση αιτημάτων, κορεσμός δίσκου και δικτύου
- Καταγραφές και μετρήσεις: ανάγνωση καταγραφών broker και έκθεση μετρήσεων μέσω εξαγωγέα JMX σε κοινά συστήματα παρατηρησιμότητας
- Επιχειρησιακά playbooks: κυλιόμενες επανεκκινήσεις, ασφαλείς αλλαγές ρυθμίσεων, αντιμετώπιση πλήρους δίσκου και θεμάτων ISR
- Εργαστήριο: δημιουργία ενός ελάχιστου συνόλου ειδοποιήσεων, διάγνωση υποβαθμισμένης συστοιχίας και αποκατάσταση υγιούς αναπαραγωγής
Αναβαθμίσεις και Ετοιμότητα για Αποκατάσταση Καταστροφών
- Σχεδιασμός αναβάθμισης για το Kafka: έλεγχοι συμβατότητας, σταδιακή ανάπτυξη και προσέγγιση επαναφοράς
- Αντίγραφα ασφαλείας και προσδοκίες ανάκτησης: τι μπορεί να αντιγραφεί, τι όχι, και βασικά στοιχεία ανάκτησης ρυθμίσεων
- Επισκόπηση αναπαραγωγής μεταξύ συστοιχιών και πότε να χρησιμοποιήσετε το MirrorMaker 2 για αποκατάσταση καταστροφών και μεταφορές
- Σύνοψη: λίστα ελέγχου λειτουργιών, αντικείμενα παράδοσης και επόμενα βήματα για ανάπτυξη σε παραγωγή
Απαιτήσεις
- Κατανόηση βασικής διαχείρισης Linux (χρήστες, υπηρεσίες, αρχεία, δικαιώματα)
- Εμπειρία με έννοιες δικτύωσης TCP/IP (DNS, θύρες, τείχη προστασίας, εξισορροπητές φορτίου)
- Βασική εμπειρία σε σενάρια (Bash, PowerShell ή παρόμοια) για καθημερινές λειτουργικές εργασίες
Κοινό
- Διαχειριστές Kafka και μηχανικοί πλατφόρμας υπεύθυνοι για τη λειτουργία συστοιχιών Kafka
- Μηχανικοί αξιοπιστίας ιστοτόπων και μηχανικοί DevOps που υποστηρίζουν πλατφόρμες ροής δεδομένων
- Ομάδες υποδομών και λειτουργιών που αναπτύσσουν νέες συστοιχίες Kafka βασισμένες σε KRaft ή μεταβαίνουν από το ZooKeeper
Σχόλια (5)
Εφαρμογή ανεξάρτητων εκπαιδευτικών άσκησεων στο περιβάλλον κατάρτισης.
Tomasz - PKO Zycie Towarzystwo Ubezpieczen S.A.
Κομμάτι - Kafka for Administrators
Μηχανική Μετάφραση
Συντομά και με τη σωστή ρυθμιά (απαιτούνται βασικές γνώσεις bash)
Krzysztof - Agora SA
Κομμάτι - Kafka for Administrators
Μηχανική Μετάφραση
Ο εκπαιδευτής δέχεται ερωτήσεις κατά τη διάρκεια οποιουδήποτε μέρους της σεσσίου, ακόμη και αν το θέμα εκπαιδεύθηκε πριν από μερικές ημέρες.
GOODLUCK MASHIMBA - Tanzania Revenue Authority
Κομμάτι - Kafka for Administrators
Μηχανική Μετάφραση
Ωραίες δεξιότητες παρουσίασης
Md Maruf Hossain - ATOS PGS sp. z o.o.
Κομμάτι - Kafka for Administrators
Μηχανική Μετάφραση
Εξαιρετικές δεξιότητες, παραδείγματα, πολύ καλά άσκησε
Marek Konieczny - G2A.COM Limited
Κομμάτι - Kafka for Administrators
Μηχανική Μετάφραση