Web Scraping with Python Training Course
Web Scraping είναι μια τεχνική για την εξαγωγή δεδομένων από έναν ιστότοπο και στη συνέχεια την αποθήκευση σε τοπικό αρχείο ή βάση δεδομένων.
Αυτή η καθοδηγούμενη από εκπαιδευτές, ζωντανή εκπαίδευση (επιτόπια ή απομακρυσμένη) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν την Python για να αυτοματοποιήσουν τη διαδικασία ανίχνευσης πολλών ιστότοπων για την εξαγωγή δεδομένων για επεξεργασία και ανάλυση.
Μέχρι τη λήξη αυτής της εκπαίδευσης, οι συμμετέχοντες θα μπορούν:
- Εγκαταστήσουν και διαμορφώσουν το Python και όλα τα σχετικά πακέτα.
- Ανακτήσουν και αναλύσουν δεδομένα που είναι αποθηκευμένα σε πολλούς ιστότοπους.
- Κατανοήσουν πώς λειτουργούν οι ιστότοποι και πώς είναι δομημένο το HTML τους.
- Δημιουργήσουν αράχνες για να ανιχνεύσουν το διαδίκτυο σε μεγάλη κλίμακα.
- Χρησιμοποιήσουν το Selenium για να ανιχνεύσουν ιστοσελίδες που λειτουργούν με AJAX.
Μορφή του μαθήματος
- Διαδραστική διάλεξη και συζήτηση.
- Πολλές ασκήσεις και πρακτική.
- Εφαρμογή πρακτικής σε ένα ζωντανό εργαστηριακό περιβάλλον.
Επιλογές προσαρμογής μαθημάτων
- Αυτό το μάθημα προϋποθέτει γνώσεις προγραμματισμού.
- Για να ζητήσετε μια προσαρμοσμένη εκπαίδευση για αυτό το μάθημα, παρακαλούμε επικοινωνήστε μαζί μας για να το κανονίσετε.
Course Outline
Εισαγωγή
Δημιουργία Αναπτυξιακού Περιβάλλοντος
Python Primer: Δομές δεδομένων, Συνθήκες, Χειρισμός αρχείων κ.λπ.
Python Πακέτα για Web Scraping: Scrapy and BeautifulSoup
Πώς λειτουργεί ένας ιστότοπος
Πώς είναι δομημένο το HTML
Υποβολή αιτήματος Web
Ξύσιμο σελίδας HTML
Εργασία με XPath και CSS
Φιλτράρισμα δεδομένων με χρήση κανονικών ιόντων Express
Δημιουργία προγράμματος ανίχνευσης Ιστού
Ανίχνευση σελίδων AJAX και JavaScript με Selenium.
Βέλτιστες πρακτικές για την απόξεση Ιστού
Αντιμετώπιση προβλημάτων
Περίληψη και Συμπέρασμα
Requirements
- Programming εμπειρία, κατά προτίμηση σε Python. Εάν οι συμμετέχοντες έχουν προγραμματιστική εμπειρία σε άλλη γλώσσα εκτός από Python, η εκπαίδευση μπορεί να επεκταθεί ώστε να περιλαμβάνει περισσότερες εισαγωγικές ασκήσεις Python.
Ακροατήριο
- Developers
Open Training Courses require 5+ participants.
Web Scraping with Python Training Course - Booking
Web Scraping with Python Training Course - Enquiry
Web Scraping with Python - Consultancy Enquiry
Consultancy Enquiry
Testimonials (1)
Πολλά διαφορετικά παραδείγματα και θέματα έχουν επισκεφθεί, από βασική έρευνη μέχρι διαχείριση σύνδεσης και δυναμική διαχείριση σελίδων.
Daniele Tagliaferro - Creditsafe Italia Srl
Course - Web Scraping with Python
Machine Translated
Upcoming Courses
Related Courses
BDD with Python and Behave
7 HoursThis instructor-led, live training in Ελλάδα begins with a discussion of BDD and how the Behave framework can be used to carry out BDD testing for web applications. Participants are given ample opportunity to interact with the instructor and peers while implementing the concepts and tactics learned in this hands-on, practice-based lab environment.
Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα έχουν μια σταθερή κατανόηση του BDD και του Behave, καθώς και την απαραίτητη πρακτική για την εφαρμογή αυτών των τεχνικών και εργαλείων σε σενάρια δοκιμών πραγματικού κόσμου.
Scaling Data Analysis with Python and Dask
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και μηχανικούς λογισμικού που επιθυμούν να χρησιμοποιήσουν το Dask με το οικοσύστημα Python για να δημιουργήσουν, να κλιμακώσουν και να αναλύσουν μεγάλα σύνολα δεδομένων.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το περιβάλλον για να ξεκινήσετε τη δημιουργία επεξεργασίας μεγάλων δεδομένων με το Dask και την Python.
- Εξερευνήστε τις δυνατότητες, τις βιβλιοθήκες, τα εργαλεία και τα API που είναι διαθέσιμα στο Dask.
- Κατανοήστε πώς το Dask επιταχύνει τον παράλληλο υπολογισμό στην Python.
- Μάθετε πώς να κλιμακώνετε το οικοσύστημα της Python (Numpy, SciPy και Pandas) χρησιμοποιώντας το Dask.
- Βελτιστοποιήστε το περιβάλλον Dask για να διατηρήσετε υψηλή απόδοση στο χειρισμό μεγάλων συνόλων δεδομένων.
Data Analysis with Python, Pandas and Numpy
14 HoursΑυτή η εκπαιδευτική διάλεξη (μέσω διαδικτύου ή υπό ζωντανές συνθήκες) στο Ελλάδα είναι κατε劳动翻译的内容超出指示要求,且包含未请求的额外内容。根据用户的要求,我将直接提供从英语到希腊语的翻译,并严格遵守所有的指导原则:
Αυτή η εκπαιδευτική διάλεξη (μέσω διαδικτύου ή υπό ζωντανές συνθήκες) στο Ελλάδα είναι κατεπιβλημένη για μεσαίου επιπέδου Python προγραμματιστές και αναλυτές δεδομένων που θέλουν να βελτιώσουν τεχνικές τους γνώσεις στην ανάλυση και επεξεργασία δεδομένων χρησιμοποιώντας Pandas και NumPy.
Τελούντας αυτή την εκπαίδευση, οι συμμετέχοντες θα μπορούν να:
- Εγκαταστήσουν ένα περιβάλλον ανάπτυξης που περιλαμβάνει Python, Pandas και NumPy.
- Δημιουργήσουν μια εφαρμογή ανάλυσης δεδομένων χρησιμοποιώντας Pandas και NumPy.
- Εκτελούν προβληματικές λειτουργίες δεδομένων, ταξινόμησης και φίλτρωσης.
- Προχωρούν σε απογοητευτικές εκτελήσεις και ανάλυση χρονικών δεδομένων.
- Εμφανίζουν δεδομένα χρησιμοποιώντας το Matplotlib και άλλες βιβλιοθήκες εμφάνισης.
- Αποσφυγίζουν και βελτιώνουν τον κωδικό ανάλυσης δεδομένων τους.
FARM (FastAPI, React, and MongoDB) Full Stack Development
14 HoursΑυτή η ζωντανή εκπαίδευση μέσω εκπαιδευτών (διαδικτυακή ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν τη στοίβα FARM (FastAPI, React και MongoDB) για να δημιουργήσουν δυναμικές, υψηλής απόδοσης και επεκτάσιμες εφαρμογές ιστού.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το απαραίτητο περιβάλλον ανάπτυξης που ενσωματώνει το FastAPI, React και το MongoDB. Κατανοήστε τις βασικές έννοιες, τα χαρακτηριστικά και τα οφέλη της στοίβας FARM. Μάθετε πώς να δημιουργείτε REST API με το FastAPI. Μάθετε πώς να σχεδιάζετε διαδραστικές εφαρμογές με το React. Αναπτύξτε, δοκιμάστε και αναπτύξτε εφαρμογές (μπροστινό και πίσω άκρο) χρησιμοποιώντας τη στοίβα FARM.
Developing APIs with Python and FastAPI
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το FastAPI με Python για να δημιουργήσουν, να δοκιμάσουν και να αναπτύξουν RESTful API ευκολότερα και πιο γρήγορα.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Να εγκαταστήσουν το απαραίτητο περιβάλλον ανάπτυξης για την ανάπτυξη APIs με Python και FastAPI.
- Να δημιουργούν APIs πιο γρήγορα και εύκολα χρησιμοποιώντας τη βιβλιοθήκη FastAPI.
- Να μάθουν πώς να δημιουργούν μοντέλα δεδομένων και σχήματα βασισμένα στα Pydantic και OpenAPI.
- Να συνδέσουν APIs σε μια βάση δεδομένων χρησιμοποιώντας το SQLAlchemy.
- Να εφαρμόσουν ασφάλεια και αυθεντικοποίηση σε APIs χρησιμοποιώντας τα εργαλεία FastAPI.
- Να δημιουργήσουν εικόνες container και να αναπτύξουν web APIs σε έναν cloud server.
Machine Learning with Python – 2 Days
14 HoursΣτόχος αυτού του μαθήματος είναι να παρέχει μια βασική ικανότητα στην εφαρμογή Machine Learning μεθόδων στην πράξη. Μέσω της χρήσης της Python γλώσσας προγραμματισμού και των διαφόρων βιβλιοθηκών της, και με βάση ένα πλήθος πρακτικών παραδείξεων, αυτό το μάθημα διδάσκει πώς να χρησιμοποιήσετε τα πιο σημαντικά κτίρια Machine Learning, πώς να λάβετε αποφάσεις μοντελοποίησης δεδομένων, να ερμηνεύσετε τα αποτελέσματα των αλγόριθμων και να επικυρώσετε τα αποτελέσματα.
Στόχος μας είναι να σας δώσουμε τις δεξιότητες για να κατανοήσετε και να χρησιμοποιήσετε με εμπιστοσύνη τα πιο θεμελιώδη εργαλεία από το κουτί εργαλείων Machine Learning και να αποφύγετε τις κοινές πτώσεις των εφαρμογών Data Science.
Machine Learning with Python – 4 Days
28 Hoursο στόχος αυτού του μαθήματος είναι να παρέχει γενική επάρκεια στην εφαρμογή μεθόδων μηχανικής μάθησης στην πράξη. Μέσω της χρήσης της γλώσσας προγραμματισμού Python και των διαφόρων βιβλιοθηκών της, και με βάση ένα πλήθος πρακτικών παραδειγμάτων, αυτό το μάθημα διδάσκει πώς να χρησιμοποιείτε τα σημαντικότερα δομικά στοιχεία της μηχανικής μάθησης, πώς να κάνετε αποφάσεις μοντελοποίησης δεδομένων, να ερμηνεύσετε την τις εκροές των αλγορίθμων και να επικυρώσετε τα αποτελέσματα.
ο στόχος μας είναι να σας δώσουμε τις δεξιότητες για να κατανοήσετε και να χρησιμοποιήσετε τα πιο θεμελιώδη εργαλεία από την εργαλειοθήκη μηχανικής εκμάθησης με σιγουριά και να αποφύγετε τις κοινές παγίδες των εφαρμογών των Επιστημών δεδομένων.
Accelerating Python Pandas Workflows with Modin
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα (διαδικτυακό ή επιτόπου) απευθύνεται σε επιστήμονες δεδομένων και προγραμματιστές που επιθυμούν να χρησιμοποιήσουν το Modin για να δημιουργήσουν και να εφαρμόσουν παράλληλους υπολογισμούς με το Pandas για ταχύτερη ανάλυση δεδομένων.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Ρυθμίστε το απαραίτητο περιβάλλον για να ξεκινήσετε την ανάπτυξη Pandas ροών εργασίας σε κλίμακα με Modin.
- Κατανοήστε τα χαρακτηριστικά, την αρχιτεκτονική και τα πλεονεκτήματα του Modin.
- Γνωρίστε τις διαφορές μεταξύ Modin, Dask και Ray.
- Εκτελέστε τις λειτουργίες Pandas πιο γρήγορα με το Modin.
- Εφαρμόστε ολόκληρο το Pandas API και τις λειτουργίες.
Python for Natural Language Generation (NLG)
21 HoursΣε αυτή την εκπαιδευτική οργανωμένη και ζωντανή διάλεξη στο Ελλάδα, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιήσουν το Python για να παραγάγουν ευψύνον ελληνικό κείμενο, αποτέλεσμα της κατασκευής δικής τους συστήματος NLG από μηδέν. Θα εξεταστούν περίπτωση μελέτης και θα εφαρμοστούν τα σχετικά όριζόντια σε ζωντανά προγράμματα laboratόrίου για την παραγωγή περιεχομένου.
Τελικά από αυτή την διάλεξη, οι συμμετέχοντες θα μπορέσουν να:
- Χρησιμοποιούν NLG για την αυτόματη παραγωγή περιεχομένου σε διάφορες βιομηχανίες, από την εκδοτική ρύθμιση έως το κληρικό περιβάλλον, μέχρι την εγχώρια και αθλητική υπηρεσία δημοσιεύσεων.
- Επιλέγουν και οργανώνουν πηγαίο περιεχόμενο, σχεδιάζουν πρότυπα, και προετοιμάζουν ένα σύστημα για την αυτόματη παραγωγή αρχικού περιεχομένου.
- Συνειδητοποιούν τον διαδικαστικό ροών NLG και εφαρμόζουν τους ορθούς τεχνικούς σε κάθε στάδιο.
- Συνειδητοποιούν την αρχιτεκτονική ενός Natural Language Generation (NLG) συστήματος.
- Εφαρμόζουν τους κατάλληλους λογισμικούς χώρους και πεπερασμένα μοντέλα για ανάλυση και διάθεση.
- Τίθενται σε άμεση εφαρμογή δεδομένων από δημόσια διαθέσιμες πηγές καθώς και βάσεις δεδομένων για να χρησιμοποιήσουν ως υλικό για την παραγωγή κειμένων.
- Αντικαθιστούν τους αυτόματους και σπανίους διαδικασίες γραφής με υπολογιστική παραγωγή, αυτομάτη δημιουργία περιεχομένου.
Unit Testing with Python
21 HoursΣε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα, καθοδηγούμενη από εκπαιδευτές, οι συμμετέχοντες θα μάθουν πώς να χρησιμοποιούν το PyTest για να γράφουν σύντομες, διατηρούμενες δοκιμές που είναι κομψές, εκφραστικές και ευανάγνωστες.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Γράψτε αναγνώσιμες και διατηρούμενες δοκιμές χωρίς την ανάγκη κωδικού λέβητα.
- Χρησιμοποιήστε το μοντέλο στερέωσης για να γράψετε μικρά τεστ.
- Κλιμάκωση δοκιμών έως πολύπλοκες λειτουργικές δοκιμές για εφαρμογές, πακέτα και βιβλιοθήκες.
- Κατανοήστε και εφαρμόστε τις δυνατότητες του PyTest όπως τα άγκιστρα, την επανεγγραφή και τα πρόσθετα.
- Μειώστε τους χρόνους δοκιμής εκτελώντας δοκιμές παράλληλα και σε πολλούς επεξεργαστές.
- Εκτελέστε δοκιμές σε περιβάλλον συνεχούς ενοποίησης, μαζί με άλλα βοηθητικά προγράμματα όπως tox, mock, coverage, unittest, doctest και Selenium.
- Χρησιμοποιήστε την Python για να δοκιμάσετε εφαρμογές που δεν ανήκουν στην Python.
Advanced Machine Learning with Python
21 HoursΣε αυτή τη ζωντανή εκπαίδευση στο Ελλάδα με καθοδήγηση εκπαιδευτών, οι συμμετέχοντες θα μάθουν τις πιο σχετικές και προηγμένες τεχνικές μηχανικής εκμάθησης στο Python καθώς δημιουργούν μια σειρά από εφαρμογές επίδειξης που περιλαμβάνουν εικόνα, μουσική, κείμενο και οικονομικά δεδομένα.
Με το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα είναι σε θέση:
- Εφαρμόστε αλγόριθμους μηχανικής μάθησης και τεχνικές για την επίλυση πολύπλοκων προβλημάτων.
- Εφαρμόστε τη βαθιά μάθηση και την ημι-εποπτευόμενη μάθηση σε εφαρμογές που περιλαμβάνουν εικόνα, μουσική, κείμενο και οικονομικά δεδομένα.
- Ωθήστε τους αλγόριθμους Python στο μέγιστο δυναμικό τους.
- Χρησιμοποιήστε βιβλιοθήκες και πακέτα όπως το NumPy και το Theano.
Python: Automate the Boring Stuff
14 HoursΑυτή η ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα βασίζεται στο δημοφιλές βιβλίο, "Automate the Boring Stuff with Python", του Al Sweigart. Απευθύνεται σε αρχάριους και καλύπτει βασικές Python έννοιες προγραμματισμού μέσω πρακτικών, πρακτικών ασκήσεων και συζητήσεων. Το επίκεντρο είναι να μάθουμε να γράφουμε κώδικα για να αυξήσουμε δραματικά την παραγωγικότητα του γραφείου.
Μέχρι το τέλος αυτής της εκπαίδευσης, οι συμμετέχοντες θα γνωρίζουν πώς να προγραμματίζουν στο Python και να εφαρμόζουν αυτή τη νέα δεξιότητα για:
- Αυτοματοποίηση εργασιών γράφοντας απλά Python προγράμματα.
- Δημιουργία προγραμμάτων που μπορούν να αναγνωρίζουν μοτίβα κειμένου με "regular expressions".
- Προγραμματιστική δημιουργία και ενημέρωση Excel υπολογιστικών φύλλων.
- Ανάλυση αρχείων PDF και Word εγγράφων.
- Εξερεύνηση ιστοσελίδων και εξαγωγή πληροφοριών από διαδικτυακές πηγές.
- Δημιουργία προγραμμάτων που στέλνουν ειδοποιήσεις μέσω email.
- Χρήση των εργαλείων εντοπισμού σφαλμάτων του Python για γρήγορη επίλυση προβλημάτων.
- Προγραμματιστικός έλεγχος του ποντικιού και του πληκτρολογίου για αυτόματο κλικ και πληκτρολόγηση.
Advanced Python - 4 Days
28 HoursΣε αυτήν τη ζωντανή εκπαίδευση υπό την καθοδήγηση εκπαιδευτών στο Ελλάδα, οι συμμετέχοντες θα μάθουν προηγμένες Python τεχνικές προγραμματισμού, συμπεριλαμβανομένου του τρόπου εφαρμογής αυτής της ευέλικτης γλώσσας για την επίλυση προβλημάτων σε τομείς όπως κατανεμημένες εφαρμογές, ανάλυση και οπτικοποίηση δεδομένων, προγραμματισμός διεπαφής χρήστη και σενάρια συντήρησης .
Python Programming - 4 days
28 HoursΑυτό το μάθημα έχει σχεδιαστεί για όσους επιθυμούν να μάθουν τη Python προγραμματισμού Python . Η έμφαση δίνεται στη γλώσσα Python , στις βασικές βιβλιοθήκες, καθώς και στην επιλογή των καλύτερων και πιο χρήσιμων βιβλιοθηκών που αναπτύχθηκαν από την κοινότητα Python . Python οδηγεί επιχειρήσεις και χρησιμοποιείται από επιστήμονες σε όλο τον κόσμο - είναι μία από τις πιο δημοφιλείς γλώσσες προγραμματισμού.
Το μάθημα μπορεί να παραδοθεί χρησιμοποιώντας την τελευταία έκδοση Python 3.x με πρακτικές ασκήσεις που αξιοποιούν πλήρως τις δυνατότητές της. Μπορεί να παραδοθεί σε οποιοδήποτε λειτουργικό σύστημα (όλες οι γεύσεις UNIX, συμπεριλαμβανομένου του Linux και του Mac OS X, καθώς και των Microsoft Windows).
Οι πρακτικές ασκήσεις αποτελούν περίπου το 70% του χρόνου σπουδών, και περίπου το 30% είναι διαδηλώσεις και παρουσιάσεις. Οι συζητήσεις και οι ερωτήσεις μπορούν να τεθούν καθόλη τη διάρκεια του μαθήματος.
Σημείωση: η εκπαίδευση μπορεί να προσαρμοστεί στις συγκεκριμένες ανάγκες κατόπιν προηγούμενης αίτησης πριν από την προτεινόμενη ημερομηνία του μαθήματος.
Test Automation with Selenium and Python
14 HoursΣε αυτήν την καθοδηγούμενη από εκπαιδευτές, η ζωντανή εκπαίδευση σε Ελλάδα συμμετέχοντες συνδυάζει τη δύναμη της Python με το Selenium για να αυτοματοποιήσει τη δοκιμή ενός δείγματος διαδικτυακής εφαρμογής. Συνδυάζοντας τη θεωρία με την πρακτική σε ένα ζωντανό εργαστηριακό περιβάλλον, οι συμμετέχοντες θα αποκτήσουν τη γνώση και την πρακτική που απαιτούνται για να αυτοματοποιήσουν τα δικά τους έργα δοκιμών ιστού χρησιμοποιώντας Python και Selenium.