Sprawdź 108 GWARANTOWANYCH TERMINÓW SZKOLEŃ na rok 2026! Dofinansowanie do 100% — sprawdź możliwości z BUR i KFS!
22 299 53 69
Szkolenie Python

Scrapy: web scraping

Warsztatowe szkolenie z webscrapingu prowadzone przez trenera z komercyjnym doświadczeniem w tej dziedzinie.

więcej →

Program, termin i format dostosujemy do Twojego zespołu

2400 PLN netto 2 952 PLN brutto Dofinansowanie BUR/KFS
Czas trwania 3 dni
Łukasz Jaworowski
Łukasz Jaworowski Autor szkolenia

Najbliższe terminy 9:00 – 16:00

Brak dostępnych terminów. Skontaktuj się z nami!

Powiadamiaj mnie o nowych terminach gwarantowanych tego szkolenia

Powiadomienia o terminach gwarantowanych

Na podany adres e-mail będziesz otrzymywać informacje o pojawiających się terminach gwarantowanych szkolenia Scrapy: web scraping.

Z powiadomień możesz wypisać się w dowolnym momencie.

Zorganizuj to szkolenie tylko dla swojego zespołu

To szkolenie można zorganizować w formie zamkniętej — z programem dopasowanym do potrzeb Twojego zespołu, w uzgodnionym terminie i formacie.

Dowiedz się więcej

Opis szkolenia


O skoleniu w skrócie

Warsztatowe szkolenie z webscrapingu prowadzone przez trenera z komercyjnym doświadczeniem w tej dziedzinie.

Dla kogo?

Aby uczestniczyć w tym szkoleniu potrzebna jest podstawowa wiedza z programowania w języku Python - jak definiować klasy, pisać funkcje i uruchamiać skrypty w języku Python.

Charakter szkolenia

Szkolenie ma charakter warsztatowy. W trakcie szkolenia uczestnicy otrzymają praktyczną wiedzę na temat webscrapingu. Każde omówione zagadnienie podsumowane jest kilkoma następującymi po sobie ćwiczeniami o wzrastającym poziomie trudności. W ramach szkolenia napisane będą programy w języku Python pozwalające na cykliczne pobieranie danych z 5 stron.

Przebieg szkolenia

  1. Zajęcia rozpoczynamy omówieniem webscrapingu - jakie daje nam możliwości, jak przebiega.
  2. Zajęcia praktyczne rozpoczynamy instalacją i konfiguracją interpretera języka Python oraz IDE - Visual studio code. Uczestnicy szkolenia mogą pracować na dowolnym innym znanym sobie IDE.
  3. Po poznaniu podstaw zajmiemy się budową scrapera pobierającego listę aktualnie popularnych książek z przygotowanej strony.
  4. W kolejnym kroku pobierać będziemy dane umieszczone na powiązanych stronach takich jak podstrona zawierające szczegóły o książce czy zdjęcia.
  5. Poznamy bliżej narzędzia w przeglądarce Firefox umożliwiające sprawne pobieranie danych z witryn, rozpoznanie najlepszej metody pobierania danych i sprawdzania poprawności Xpath.
  6. Pobierzemy dane z kilku popularnych portali za pomocą różnych metod - poprzez API, HTML, RSS.
  7. Dowiemy się jak sprawnie przetwarzać dane po pobraniu ich, jak walidować, przetwarzać i zapisywać dane cyklicznie uruchamianych scraperów.
  8. Wdrożymy stworzone programy na platformę Zyte i dowiemy się jak korzystać z platformy by zarządzać scraperami.


Przejdź do programu szkolenia

Prowadzący szkolenie

Łukasz Jaworowski

Łukasz Jaworowski

Zawodowo programista od 8 lat. Typowy praktyk lubiący rozwiązywanie problemów biznesowych od koncepcji do gotowego programu. Skupiony na technologiach backendowych. Zaczynał od Javy, większość czasu w pracy spędził programując systemy przetwarzania danych oraz aplikacji webowych z użyciem języka Python i AWS. Od 2021 roku pracuje jako lider techniczny w projektach Golang w firmie z obszaru security/crypto. Doświadczenie zdobywał w startupach, Fintechach, bankach oraz realizując projekty jako freelancer. W wolnym czasie poza programowaniem lubi sport i inne formy rywalizacji.

Program szkolenia

  1. Czym jest webscraping?
    • O Robots.txt
    • User-agent
    • Jak serwery rozpoznają boty?
    • Etyka
    • Ogólnie panujące zasady
    • Przykłady platform korzystających z webscrapingu
  2. Jak działa protokół HTTP?
    • Struktura HTML
    • Kody HTTP zwracane przez serwery
    • Nagłówki zwracane przez HTTP
    • Rodzaje typów zawartości zwracanych przez serwery http
  3. Najbardziej popularne narzędzia
    • Selenium
    • Requests
    • BeautifulSoup
    • Scrapy
  4. Użycie klasy scrapy.Spider
    • Konfiguracja bota - start_urls, custom_settings, allowed_domains
    • Jak generować listę URL do odwiedzenie
    • Metody klasy scrapy.Spider - jak używać
    • Definiowanie klas pobieranych danych
  5. Jak parsować XML/HTML
    • Wyszukiwanie elementów HTML po atrybutach
    • Xpath
  6. Przydatne narzędzia
    • Regexp101
    • Xpath helper
  7. Jak parsować JSON
    • Biblioteka json
  8. Jak parsować tekst - o wyrażeniach regularnych
    • Biblioteka re
    • Flagi w wyrażeniach regularnych
  9. Jak pobierać obrazy i inne typy plików
    • Zapisywanie wartości plików binarnych z użyciem biblioteki io
  10. Definiowanie klas pobieranych rekordów - scrapy.Item
    • Walidacja pobieranych rekordów
    • Standaryzacja pobieranych rekordów
    • Przetwarzanie pobieranych rekordów
  11. Łaćuchy wywołań metod
    • Czym jest callback? Jak działa?
    • Przekazywanie wartości pomiędzy zapytaniami
  12. Scrapowanie strony na przykładzie:
    • Pobieranie danych z użyciem xpath oraz regex
    • Łańcuchy zapytań
    • Warunkowe przerwanie scrapingu
  13. Zaawansowany scraping
    • Cookies
    • Formularze
    • Prosy
    • Inne przeszkody wymagające
    • Użycie scrape shell
  14. Web crawling
    • Crawling całych domen
    • Podążanie za znalezionymi linkami wewnątrz domeny
    • Filtrowanie znalezionych linków
  15. Problemy:
    • Javascript
  16. Obsługiwanie wyjątków
    • Captcha, bany, limity
  17. Uruchamianie scrapy na platformie zyte.com
    • Deployment za pomocą CLI
    • Deployment za pomocą klienta web
    • Scrapowanie za pomocą Cron
    • Statystyki
  18. Zapisywanie rezultatów scrapingu na przykładzie AWS S3 i lokalnie
    • Zapisywanie rezultatów z użyciem Item Pipeline w Scrapy

Zainteresowany? Zapisz się na szkolenie!

Zapisz się — wybierz termin

Szkolenie Scrapy: web scraping realizowane tylko dla pracowników Twojej firmy?

To szkolenie możemy zorganizować w formie zamkniętej — wyłącznie dla Twojego zespołu. Doświadczony trener-praktyk poprowadzi szkolenie skrojone pod potrzeby Twojej organizacji:

  • Program dopasujemy do potrzeb i poziomu uczestników
  • Termin ustalimy indywidualnie, pod Twój kalendarz
  • Format do wyboru: online na żywo lub stacjonarnie w Twojej lub naszej siedzibie

Zamów bezpłatną, niezobowiązującą wycenę szkolenia zamkniętego.

Zapytaj o bezpłatną wycenę szkolenia
Szkolenie dedykowane dla Twojego zespołu Dopasowany program, termin i format. Napisz lub zadzwoń — wspólnie dobierzemy rozwiązanie dla Twoich pracowników.

Terminy gwarantowane

Szkolenia oznaczone jako "termin gwarantowany" odbędą się w zaplanowanym terminie niezależnie od liczby zgłoszonych uczestników. Nie musisz się martwić, że szkolenie zostanie odwołane z powodu zbyt małej liczby zapisanych osób.

Szkolenia online

Szkolenie realizowane jest w formie zdalnej na żywo poprzez platformę ZOOM. Trener prowadzi szkolenie na żywo, a uczestnicy mogą na bieżąco zadawać pytania i wykonywać ćwiczenia. Format online zapewnia pełną interakcję z trenerem, identyczną jak przy szkoleniu stacjonarnym.

Szkolenie na żywo z trenerem — nie kurs video

To nie jest nagrany kurs video. Przez cały czas trwania szkolenia masz bezpośredni kontakt z doświadczonym trenerem-praktykiem. Możesz na bieżąco zadawać pytania, prosić o wyjaśnienie trudnych zagadnień, konsultować własne projekty i uzyskać odpowiedź na dowolne pytanie związane z tematyką szkolenia. To realne wsparcie eksperta, którego nie zapewni żaden kurs nagrany.

Certyfikat ukończenia szkolenia

Każdy uczestnik po ukończeniu szkolenia otrzymuje imienny certyfikat potwierdzający udział i zdobyte kompetencje. Certyfikat wystawiany jest przez JSystems — firmę z certyfikatem ISO 9001 — i jest honorowany przez pracodawców.

Środowisko robocze

Nie jest wymagane instalowanie żadnego oprogramowania. Każdy uczestnik szkolenia otrzymuje dostęp do gotowego środowiska w chmurze, skonfigurowanego na potrzeby szkolenia. Dostęp realizowany jest poprzez przeglądarkę lub zdalny pulpit, w zależności od szkolenia.

Sprawdź pozostałe szkolenia z kategorii:

Python

Opinie uczestników

4.8/5
Uczenie maszynowe w Pythonie

Spoko w branży finansowej!

Konrad Gruszka Politechnika Częstochowska
5.0/5
Uczenie maszynowe w Pythonie

Bardzo dobrze i sprawnie przeprowadzone szkolenie dot. technik ML w pythonie. Polecam dla osób które zajmują się tym w praktyce. Możliwość pogłębienia wiedzy w tej dziedzinie.

Anna Matuszyk Bank Millennium S.A.
4.9/5
Python od podstaw, przez analizę danych, do machine learning

Bardzo dobre wykłady, dużo przydatnej wiedzy i perfekcyjny trener M. Z.

Kacper Jakubowski Fundacja Rozwoju Systemu Edykacji
5.0/5
Programowanie w języku Python - podstawy

Szkolenie z Przemkiem polecam każdemu, kto chce zgłębić wiedzę na temat Pythona, a jednocześnie świetnie się przy tym bawić. Mimo tego, że program szkolenia jest pełny, Przemek zawsze znajdował czas, aby zatrzymać się i wytłumaczyć wszelkie niejasności. Będę polecać znajomym w branży. :)

Patrycja Koruba H-Consulting Wojciech Hołowicz
5.0/5
Programowanie w języku Python - podstawy

Polecam

Krzysztof Dzwinel ORLEN Upstream Polska Sp. z o.o.
4.9/5
Python od podstaw, przez analizę danych, do machine learning

Super szkolenie, prowadzący Pan Mateusz spełnił moje oczekiwania, wykazał się wiedzą na każdy temat, potrafił odpowiadać na wszystkie zadawane pytania w trakcie szkolenia oraz pomagał rozwiązać każdy problem - w skrócie - pełen profesjonalizm. Polecam wybranie tego szkolenia!

Mateusz Sowiński URZĄD KOMISJI NADZORU FINANSOWEGO
5.0/5
Programowanie w języku Python - podstawy

Bardzo polecam

Jakub Tomaszewski Towarzystwo Ubezpieczeń i Reasekuracji Warta S.A.
5.0/5
Uczenie maszynowe w Pythonie

Polecam szkolenia z JSystems - profesjonalne podejcie do tematu, dobra organizacja szkolenia

Marta Kiszka Ornsson Solutions Sp. z o.o.
Pokaż wszystkie opinie Google Opinie w Google

Zaufali nam

...i wiele innych

5,0 - średnia ocena na podstawie 290 opinii

Dlaczego warto nas wybrać?

Terminy gwarantowane na 100%

Jeśli termin jest oznaczony jako gwarantowany, odbędzie się we wskazanym czasie — nawet jeśli część grupy wycofa się z udziału. Ryzyko organizacyjne ponosimy my, nie Ty.

100% format warsztatowy

Każde zagadnienie teoretyczne jest poparte ćwiczeniami praktycznymi o rosnącym poziomie trudności. Uczymy przez działanie, nie przez slajdy.

Trenerzy-praktycy z oceną min. 4.75/5

Każdy trener JSystems ma bogate doświadczenie komercyjne w technologiach których uczy i musi utrzymywać średnią z ankiet powyżej 4.75 na 5. Czerwony pasek to u nas minimum ;)

Gotowe środowiska w chmurze

Do każdego szkolenia wymagającego oprogramowania dostarczamy skonfigurowane, gotowe hosty w chmurze. Uczestnik nie musi nic instalować — łączy się przez zdalny pulpit lub SSH.

Dowiedz się dlaczego warto nas wybrać

A może nielimitowane szkolenia za
1 148 PLN brutto / mies.?
Sprawdź Karnet Open
KARNET OPEN na szkolenia
A może nielimitowane szkolenia za
1 148 PLN brutto / mies.?
Sprawdź Karnet Open
KARNET OPEN na szkolenia

📅 Przypomnij mi jutro

Wyślemy Ci przypomnienie z linkiem jutro rano.

Zanim wyjdziesz

Wyślemy Ci podsumowanie tego szkolenia z terminami i ceną — do przemyślenia w spokoju.

Żadnego spamu — tylko jedno podsumowanie.