Εξαγωγή Δεδομένων Από το Web με Python Κομμάτι εκπαίδευσης
Η εξαγωγή δεδομένων από το web (Web Scraping) είναι μια τεχνική για την εξαγωγή δεδομένων από έναν ιστότοπο και τη συνέχεια αποθήκευσή τους σε έναν μηδία αποθήκης ή βάση δεδομένων.
Αυτή η επιβλέπεται από καθηγητή, ζωντανή εκπαίδευση (διαδικτυακά ή σε τοπικό επίπεδο) είναι προορισμένη για διαμορφωτές (developers) που επιθυμούν να χρησιμοποιήσουν το Python για την αυτομάτωση της διαδικασίας καταγεφύρωσης (crawling) πολλών ιστοσελίδων για να εξάγουν δεδομένα που θα υποβληθούν σε επεξεργασία και ανάλυση.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Εγκαταστήσουν και ρυθμίσουν το Python και όλες τις σχετικές πακέτα.
- Ανάκτηση και ανάλυση δεδομένων που αποθηκεύονται σε πολλές ιστοσελίδες.
- Κατανόηση του λειτουργικού και της δομής HTML των ιστοσελίδων.
- Δημιουργία συναρπαστών (spiders) για να εξαγόνται δεδομένα από το web με μεγάλη κλίμακα.
- Χρήση Selenium για να καταγεφύρωνται ιστοσελίδες που λειτουργούν με AJAX.
Μορφή της Εκπαίδευσης
- Αλληλεπίδραση σε διάλεξη και συζήτηση.
- Αρκετοί άσκησεις και πρακτική εφαρμογή.
- Ζωντανή υλοποίηση σε λάβ εργαστηρίου.
Εξατομικευμένες Επιλογές Εκπαίδευσης
- Η εκπαίδευση υποθέτει γνώση προγραμματισμού.
- Για να ζητήσετε μια προσαρμογμένη εκπαίδευση για αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας.
Εξέλιξη Κομματιού
Εισαγωγή
Οργάνωση του Περιβάλλοντος Ανάπτυξης
Σύντομη Εισαγωγή στο Python: Δομές Δεδομένων, Συνθήκες, Διαχείριση Αρχείων κλπ.
Συστάδες (Packages) Python για την εξαγωγή δεδομένων από το web: Scrapy και BeautifulSoup
Πώς λειτουργεί ένας Ιστότοπος (Website)
Πώς είναι δομημένο το HTML
Κάνοντας μια Αίτηση Web
Εξαγωγή Δεδομένων από σελίδα HTML
Λειτουργία με XPath και CSS
Φίλτρο δεδομένων χρησιμοποιώντας Τυπικές Εκφράσεις (Regular Expressions)
Δημιουργία Καταγεφύρωσης Web
Καταγεφύρωση σελίδων AJAX και JavaScript με Selenium.
Βέλτιστες πρακτικές εξαγωγής δεδομένων από το web
Προβλήματα και Λύσεις
Επίσημη Περίληψη και Κλίμακα
Απαιτήσεις
- Εμπειρία προγραμματισμού, αν και ευκολότερα να έχουν γνώση Python. Εάν οι συμμετέχοντες διαθέτουν εμπειρία προγραμματισμού σε γλώσσα άλλη από το Python, η εκπαίδευση μπορεί να εκτεθεί και να περιλάβει περισσότερες αναφορές στα βασικά στοιχεία του Python.
Απευθύνεται
- Διαμορφωτές (Developers)
Κομμάτια Εκπαίδευσης χρειάζονται 5+ συμμετέχοντες.
Εξαγωγή Δεδομένων Από το Web με Python Κομμάτι εκπαίδευσης - Κράτηση
Εξαγωγή Δεδομένων Από το Web με Python Κομμάτι εκπαίδευσης - Ζήτημα Συμβουλευτικής
Εξαγωγή Δεδομένων Από το Web με Python - Συμβουλευτική Αίτημα
Σχόλια (1)
Έχουν καλυφθεί πολλά διαφορετικά παραδείγματα και θέματα, από τη βασική εξέταση μέχρι τη διαχείριση συνδέσεων και τη διαχείριση δυναμικών σελίδων.
Daniele Tagliaferro - Creditsafe Italia Srl
Κομμάτι - Web Scraping with Python
Μηχανική Μετάφραση
Εφεξής Μαθήματα
Σχετικά Μαθήματα
Advanced Python: Best Practices and Design Patterns
28 ΏρεςΑυτή η εντατική, πρακτική κατεύθυνση ασχολείται με προηγμένες τεχνικές Python, βιβλικές πρακτικές και συνηθισμένους σχεδιασμός μοτίβων για να χτίζετε ανατρεπόμενες, δοκιμαστικές και υψηλής επιδόσεως εφαρμογές Python. Επικεντρώνεται στα σύγχρονα εργαλεία, τυποποίηση, μοντέλα παραλληλισμού, αρχιτεκτονικά πρότυπα και έτοιμα για εγκατάσταση ροές εργασίας.
Αυτή η κατεύθυνση με διεξαγωγή παιδαγωγού, ζωντανή (διαδικτυακά ή επί τόπου), απευθύνεται σε ανάπτυξσης Python μεμειωμένου επιπέδου ως προς την προηγμένη γνώση, οι οποίες επιθυμούν να αποκτήσουν επαγγελματικά σχέδια και μοτίβα για παραγωγικό περιβάλλον.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Εφαρμένες Python typing, dataclasses και type-checking για την αύξηση της συμβατότητας του κώδικα.
- Χρησιμοποιήσετε μοτίβα σχεδιασμού και αρχητεκτονικά προτύπα για να δομήσετε ισχυρές εφαρμογές.
- Εφαρμένες παραλληλισμό και παράλληλη εκτέλεση σωστά χρησιμοποιώντας asyncio και multiprocessing.
- Κατασκευή αξιόπιστου κώδικα με pytest, property-based testing και CI pipelines.
- Profile, βελτίωση και προσαρμογή Python εφαρμογές για παραγωγή.
- Package, κυκλοφόρηση και εγκατάσταση Python έργα με σύγχρονα εργαλεία και containers.
Μορφή του Μαθήματος
- Αλληλεπιδραστικές διαλέξεις και σύντομες εξηγήσεις.
- Πρακτικές εργασίες και ασκήσεις προγραμματισμού κάθε ημέρα.
- Capstone μικρό-έργο συνδυάζοντας μοτίβα, δοκιμασία και εγκατάσταση.
Επιλογές Προσαρμογής Μαθήματος
- Για να αιτηθείτε προσαρμοσμένη εκπαίδευση ή έμφαση (data, web, ή infra), παρακαλώ επικοινωνήστε μαζί μας για διοργάνωση.
Προσωπική Ανάπτυξη AI με Python — Δημιουργία Αυτόνομων Κυβερνήτων
21 ΏρεςΑυτό το μάθημα διδάσκει πρακτικές τεχνικές μηχανικής για να σχεδιάζετε, κατασκευάζετε, δοκιμάζετε και εγκαθίστατε αυτόνομα (προσωπικά) συστήματα χρησιμοποιώντας Python. Καλύπτει τον κύκλο του αυτόνομου κυβερνήτη, την ολοκλήρωση εργαλείων, τη διαχείριση μνήμης και κατάστασης, τους παραδείγματες χορόδρομής, τον έλεγχο ασφαλείας και τις σκέψεις για την εξυπηρέτηση.
Αυτό το διδασκαλία υπό οδηγία καθηγητή, ζωντανή (online ή σε εγχώριο επίπεδο), απευθύνεται σε μηχανικούς ML του μεσαίου ρόλου έως του προχωρημένου, AI διαμορφωτές και λογισμικούς μηχανικούς που επιθυμούν να χτίζουν αξιόπιστους, έτοιμους για την εξυπηρέτηση αυτόνομους κυβερνήτες με τη χρήση Python.
Στο τέλος αυτής της διδασκαλίας, οι συμμετέχοντες θα είναι σε θέση να:
- Σχεδιάζουν και υλοποιούν τον κύκλο του αυτόνομου κυβερνήτη και τα ρούτιν προς λήψη αποφάσεων.
- Ολοκληρώνουν εξωτερικά εργαλεία και APIs για την επέκταση των δυνατοτήτων του αυτόνομου κυβερνήτη.
- Υλοποιούν αρχιτεκτονικές μνήμης για συντομο- και μακροπρόθεσμη χρήση.
- Συντονίζουν πολυβήματες χοροδιογραφικές και τη σύνθεση αυτόνομων κυβερνητών.
- Εφαρμένες πρακτικές ασφαλείας, έλεγχο πρόσβασης και παρακολούθησης για τους εξυπηρετούμενους αυτόνομους κυβερνήτες.
Μορφή του Μαθήματος
- Αλληλεπίδραση, διάλεξη και συζήτηση.
- Χειρονομήματα που χτίζουν αυτόνομους κυβερνήτες με Python και δημοφιλείς SDKs.
- Εκπαιδευτικά άσκημα βασισμένα σε εγχώριους εργασιακούς προτούπα.
Ευελιξία Μαθήματος
- Για να ζητήσετε προσαρμογμένη εκπαίδευση για αυτό το μάθημα, παρακαλώ επικοινωνήστε μαζί μας για να καταλάβετε.
Εισαγωγή στην Επιστήμη των Δεδομένων και την Τεχνητή Νοημοσύνη με το Python
35 ΏρεςΑυτή είναι μια πέντε-ημερής εισαγωγή στην Επιστήμη των Δεδομένων και την Τεχνητή Νοημοσύνη (AI).
Η μάθηση παρουσιάζεται με παραδείγματα και ασκήσεις χρησιμοποιώντας το Python
Τεχνητή Νοημοσύνη με Python (Μέσο επίπεδο)
35 ΏρεςΤεχνητή Νοημοσύνη με Python είναι η ανάπτυξη νοηματικών συστημάτων χρησιμοποιώντας το ευρύ φόρουλ της Python για AI και μηχανική ανάπτυξη.
Αυτή η διδασκαλία υπό τον οδηγό (είτε live online είτε σε πραγματικό χώρο) στοχεύει σε μεσαίου επιπέδου προγραμματιστές Python που θέλουν να σχεδιάσουν, να υλοποιήσουν και να εφαρμόσουν λύσεις AI χρησιμοποιώντας την Python.
Τέλος αυτής της διδασκαλίας, οι συμμετέχοντες θα μπορούν να:
- Υλοποιήσουν αλγόριθμους AI χρησιμοποιώντας τις πυρήνες βιβλιοθηκών AI της Python.
- Εργάζονται με μοντέλα εκπαίδευσης υπό έλεγχο, χωρίς έλεγχο και πλήρη εκπαίδευση.
- Ενσωμάτωση λύσεων AI σε υπάρχουσες εφαρμογές και διαδικασίες.
- Αξιολόγηση της απόδοσης των μοντέλων και εκτόπιση για ακρίβεια και αποδοτικότητα.
Σχέδιο Μάθησης
- Ενεργή σύντομη ομιλία και συζήτηση.
- Πολλά ασκήσεις και πράξεις.
- Επιχειρησιακή υλοποίηση σε περιβάλλον live-lab.
Πιθανότητες Προσωποποίησης του Κύκλου Μαθήματος
- Για να αιτηθεί μια προσωποποιημένη διδασκαλία για αυτό το κύκλο μαθήματος, επικοινωνήστε μαζί μας.
Αλγοριθμική Καταχώρηση με Python και R
14 ΏρεςΑυτή η κατευθυνόμενη από εκπαιδευτή, ζωντανή εκπαίδευση στο Ελλάδα (online ή on-site) απευθύνεται σε εργαλιώδεις υπολογιστικής διάνοιξης που επιθυμούν να αυτοματοποιήσουν τις συναλλαγές με αλγοριθμική καταχώρηση, Python και R.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:
- Εφαρμόζουν αλγόριθμους για την αποκτήση και πώληση αξιοπιστίων με ταχύτητα σε εξειδικευμένα διαστήματα.
- Μειώνουν τους κόστοι που σχετίζονται με τις συναλλαγές χρησιμοποιώντας αλγοριθμική καταχώρηση.
- Αυτόματα επιβλέπουν τις τιμές μετοχών και πραγματοποιούν συναλλαγές.
Αλληλουχής Τεχνητή Νοημοσύνη από τη Βάση στο Python
28 ΏρεςΑυτό είναι ένα μάθημα 4 ημερών που εισάγει την τεχνητή νοημοσύνη και την εφαρμογή της χρησιμοποιώντας τη γλώσσα προγραμματισμού Python. Υπάρχει μια επιλογή να έχετε μια επιπλέον ημέρα για να αναλάβετε ένα έργο AI μετά την ολοκλήρωση αυτού του μαθήματος.
AWS Cloud9 και Python: Μια Πρακτική Εγγύηση
14 ΏρεςΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές μεσαίου επιπέδου Python που επιθυμούν να βελτιώσουν την εμπειρία ανάπτυξης Python τους χρησιμοποιώντας το AWS Cloud9.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε και διαμορφώστε το AWS Cloud9 για ανάπτυξη Python.
- Κατανοήστε τη διεπαφή και τις δυνατότητες του AWS Cloud9 IDE.
- Εγγραφή, εντοπισμός σφαλμάτων και ανάπτυξη εφαρμογών Python στο AWS Cloud9.
- Συνεργαστείτε με άλλους προγραμματιστές χρησιμοποιώντας την πλατφόρμα AWS Cloud9.
- Ενσωματώστε το AWS Cloud9 με άλλες υπηρεσίες AWS για προηγμένες αναπτύξεις.
Κατασκευή Βοηθών Συζήτησης στο Python
21 ΏρεςΟι Βοηθοί Συζήτησης (ChatBots) είναι προγράμματα υπολογιστών που αυτόματα μιμούνται τις ανθρώπινες απαντήσεις μέσω διεπαφών συζήτησης. Οι ChatBots βοηθούν τους οργανισμούς να μεγιστοποιούν την αποδοτικότητα των λειτουργιών τους παρέχοντας ευκολότερες και γρηγορότερες επιλογές για τις αλληλεπιδράσεις με τους χρήστες.
Σε αυτή τη διδακτική ενότητα, η οποία πραγματοποιείται με οδηγία καθηγητή σε ζωντανή μορφή, οι συμμετέχοντες θα μάθουν πώς να κατασκευάζουν ChatBots στο Python.
Την λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Κατανοήσουν τα βασικά στοιχεία της κατασκευής ChatBots
- Να κατασκευάζουν, να δοκιμάζουν, να εγκαθιστούν και να τροποποιούν διάφορους ChatBots χρησιμοποιώντας Python
Ακροατήριο
- Προγραμματιστές
Μορφή του μαθήματος
- Μέρος διάλεξη, μέρος συζήτηση, ασκήσεις και επαναληπτική χειρονομία
Σημείωση
- Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση γι' αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για διοργάνωση.
Προγραμματισμός GPU με CUDA και Python
14 ΏρεςΑυτή η εκπαίδευση με καθοδήγηση εκπαιδευτή σε Ελλάδα (online ή on-site) απευθύνεται σε διαμέσους επίπεδου προγραμματιστές που επιθυμούν να χρησιμοποιήσουν CUDA για την ανάπτυξη Python applications που λειτουργούν παράλληλα σε GPUs NVIDIA.
Εώς το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Χρησιμοποιήσουν τον παράγωγο Numba για την επιτάχυνση Python applications που λειτουργούν σε GPUs NVIDIA.
- Δημιουργία, κώδικα και κίνηση περιβόλων δοκιμής CUDA.
- Διαχείριση μνήμης GPU.
- Μετατροπή application βασισμένου σε CPU σε application επιτάχυνσης GPU.
Εκτέλεση Ανάλυσης Δεδομένων με Python και Dask
14 ΏρεςΑυτή η εκπαίδευση με εξηγητικό πρωτοτύπο (online ή onsite) απευθύνεται σε επιστήμονες δεδομένων και λογισμικού μηχανικού που επιθυμούν να χρησιμοποιήσουν το Dask με το οικοσύστημα Python για την ανάπτυξη, σκαλαρόμενη επεξεργασία και ανάλυση μεγάλων ποσοτήτων δεδομένων.
Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:
- Ρυθμίσουν το περιβάλλον για να ξεκινήσουν την ανάπτυξη επεξεργασίας μεγάλων ποσοτήτων δεδομένων χρησιμοποιώντας Dask και Python.
- Εξερευνήσουν τις λειτουργίες, βιβλιοθήκες, εργαλεία και API που διαθέτει ο Dask.
- Κατανοήσουν πώς ο Dask επιταχύνει την παράλληλη υπολογισμική στο Python.
- Μάθουν πώς να σκαλάρουν το οικοσύστημα Python (Numpy, SciPy και Pandas) χρησιμοποιώντας Dask.
- Βελτιώσουν το περιβάλλον Dask για να διατηρήσουν υψηλή απόδοση στην επεξεργασία μεγάλων ποσοτήτων δεδομένων.
Ανάλυση Δεδομένων με Python, Pandas και Numpy
14 ΏρεςΑυτή η οδηγία, υπό την καθοδήγηση εκπαιδευτικών (διαδικτυακά ή σε τοπικό επίπεδο), απευθύνεται σε προγραμματιστές Python με διαφορετικό βαθμό εξοικείωσης και σε αναλυτές δεδομένων που θέλουν να επιτεθούν στην ανάλυση και τη μετατροπή δεδομένων χρησιμοποιώντας Pandas και Numpy.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Καθιερώσουν ένα περιβάλλον ανάπτυξης που συμπεριλαμβάνει το Python, Pandas και Numpy.
- Δημιουργήσουν μια εφαρμογή ανάλυσης δεδομένων χρησιμοποιώντας Pandas και Numpy.
- Εκτελέσουν προηγμένες επιχειρήματες ανάδειξης, ταξινόμησης και φίλτρων.
- Εκτελέσουν αυτοσυσσώρευση λειτουργίες και ανάλυση χρόνια σειρές δεδομένων.
- Οπτικοποίηση δεδομένων με το Matplotlib και άλλες βιβλιοθήκες που παρέχουν οπτικοποίηση.
- Βρισκόμενοι και εξυφαίνοντας τον κώδικα για την ανάλυση δεδομένων.
FARM (FastAPI, React και MongoDB) Πλήρης Ανάπτυξη Full Stack
14 ΏρεςΑυτή η καθηγησία υπό την καθοδήγηση εκπαιδευτικού (online ή on-site) απευθύνεται σε διαμορφωτές που επιθυμούν να χρησιμοποιήσουν το FARM (FastAPI, React και MongoDB) stack για να φτιάξουν δυναμικές, υψηλόδεσμες και κλιμακωτές web εφαρμογές.
Το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:
- Ρυθμίσουν το απαραίτητο περιβάλλον ανάπτυξης που ενσωματώνει τη FastAPI, το React και το MongoDB.
- Κατανοήσουν τα βασικά σημεία, χαρακτηριστικά και πλεονεκτήματα του FARM stack.
- Μάθουν πώς να φτιάξουν REST APIs με τη FastAPI.
- Μάθουν πώς να σχεδιάσουν αλληλεπίδραση εφαρμογές με το React.
- Αναπτύξουν, θεσπίσουν και καταβάλουν εφαρμογές (front end και back end) χρησιμοποιώντας το FARM stack.
Ανάπτυξη APIs με Python και FastAPI
14 ΏρεςΑυτή η ζωντανή εκπαίδευση (online ή on-site), που διεξάγεται από εκπαιδευτικό, στο Ελλάδα, απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το FastAPI με Python για να κατασκευάζουν, δοκιμάζουν και αναπτύσσουν RESTful APIs πιο εύκολα και γρήγορα.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση να:
- Ρυθμίσουν το απαραίτητο περιβάλλον ανάπτυξης για την ανάπτυξη APIs με Python και FastAPI.
- Δημιουργήσουν APIs πιο γρήγορα και εύκολα χρησιμοποιώντας τη βιβλιοθήκη FastAPI.
- Μάθουν πώς να δημιουργούν δομές και σχήματα δεδομένων με βάση το Pydantic και OpenAPI.
- Συνδέσουν APIs σε βάση δεδομένων χρησιμοποιώντας SQLAlchemy.
- Εφαρμόσουν ασφάλεια και πιστοποίηση σε APIs χρησιμοποιώντας τα εργαλεία FastAPI.
- Κατασκευάσουν εικόνες κοντέινερ και να αναδημοσπερήσουν web APIs σε cloud server.
Ανίχνευση Παρανομιών με Python και TensorFlow
14 ΏρεςΑυτή η εκπαίδευση με εγκαθιδρυτικό, ζωντανή σε Ελλάδα (online ή onsite), απευθύνεται σε επιστήμονες δεδομένων που θέλουν να χρησιμοποιήσουν το TensorFlow για την ανάλυση δεδομένων πιθανών παρανομιών.
Στο τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν να:
- Δημιουργήσουν ένα μοντέλο ανίχνευσης παρανομιών στο Python και TensorFlow.
- Κατασκευάσουν γραμμικές παλινδρομήσεις και μοντέλα γραμμικών παλινδρομήσεων για την πρόβλεψη παρανομιών.
- Αναπτύξουν μια εφαρμογή AI από τέλος σε τέλος για την ανάλυση δεδομένων παρανομιών.
Αξιοποίηση του Modin για ταχύτερους διαδromούς Python Pandas
14 ΏρεςΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Modin για να δημιουργήσουν και να εφαρμόσουν παράλληλους υπολογισμούς με το Pandas για ταχύτερη ανάλυση δεδομένων.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την ανάπτυξη Pandas ροών εργασίας σε κλίμακα με Modin.
- Κατανοήστε τα χαρακτηριστικά, την αρχιτεκτονική και τα πλεονεκτήματα του Modin.
- Γνωρίστε τις διαφορές μεταξύ Modin, Dask και Ray.
- Εκτελέστε τις λειτουργίες Pandas πιο γρήγορα με το Modin.
- Εφαρμόστε ολόκληρο το Pandas API και τις λειτουργίες.