Przetwarzanie danych Big Data z Apache Spark

O szkoleniu w skrócie

Szkolenie poświęcone jest Apache Spark - nowoczesnemu narzędziu do przetwarzania danych, wykorzystywanym przez czołowe firmy z Doliny Krzemowej.

Uczestnicy szkolenia zapoznają się z platformą Databricks, nauczą się tworzyć pipeline"y ETL w Spark SQL i PySpark oraz efektywnie przetwarzać różnorodne typy danych.

Program obejmuje najlepsze praktyki programistyczne, które usprawnią codzienną pracę z danymi. To kompleksowe szkolenie dostarczające praktycznej wiedzy i umiejętności kluczowych w pracy z dużymi zbiorami danych.

Cel szkolenia

Praca z systemem Spark oraz platformą Databricks. Opanowanie praktycznych umiejętności niezbędnych do skutecznej realizacji projektów danowych w nowoczesnym środowisku, które kształtuje współczesne standardy w obszarze Big Data.

Dla kogo przeznaczone jest szkolenie?

• Analityków Danych , którzy chcą podnieść swoje umiejętności w zakresie pracy z danymi i rozszerzyć możliwości kariery
• Inżynierów Danych , pragnących uzupełnić wiedzę na temat Databricks. Szkolenie szczególnie przyda się osobom znającym już podobne rozwiązania, takie jak Snowflake czy Microsoft Fabric
• Programistów , którzy postanowili zostać Inżynierami Danych
• Data Science , którzy chcą opanować Sparka i wykorzystywać go w projektach

Gdzie użyjesz nabytej wiedzy?

• W codziennej pracy z Platformą Databricks oraz Sparkiem
• W projektach wymagających elastycznego podejścia pod kątem wykorzystywanych zasobów
• Przy budowaniu systemów analitycznych dla firmy

Czego się nauczysz?

• Budowy i optymalizacji pipeline"ów danych (ELT/ETL) - automatyzacja procesów przetwarzania danych od surowych plików po gotowe zestawy do analizy.
• Analizy dużych zbiorów danych - efektywnego przetwarzanie i analizy milionów rekordów przy użyciu Sparka, zarówno w SQL, jak i Pythonie.
• Tworzenia systemów raportowania i dashboardów - integracji przetworzonych danych z narzędziami analitycznymi, takimi jak Power BI, Tableau.
• Integracji danych z różnych źródeł - łączenia danych z baz relacyjnych, plików CSV, Parquet, systemów chmurowych (Azure, AWS, GCP).
• Przygotowania danych do analiz i uczenia maszynowego - oczyszczanie, transformacja i formatowanie danych w sposób umożliwiający ich wykorzystanie w modelach machine learning.
• Optymalizacji kosztów i wydajności w chmurze - dzięki umiejętności efektywnego zarządzania zasobami Spark na platformie Databricks.

Wymagania co do uczestnika

• Podstawowa znajomość SQL
• Podstawowa znajomość Pythona
• Podstawowa znajomość Git
• Założenie konta na GitHub
• Podstawowa znajomość technologii chmurowych nie jest obowiązkowa, ale przydatna

Terminy i definicje

System Rozproszony
System rozproszony to zbiór niezależnych komputerów lub urządzeń, które współpracują ze sobą poprzez sieć komputerową, tworząc logiczną całość. Każdy węzeł w systemie może działać niezależnie, ale wszystkie razem realizują wspólne cele.

Spark
Apache Spark to potężne, masowo skalowalne środowisko do przetwarzania danych, które umożliwia efektywne przetwarzanie dużych zbiorów danych w pamięci oraz na dysku. Jest podstawowym komponentem platformy Databricks.

Databricks
Databricks to platforma do zarządzania danymi, która łączy zalety systemów data lake i data warehouse. Wykorzystuje Apache Spark jako silnik przetwarzania i zapewnia scentralizowane środowisko do analizy danych, uczenia maszynowego i biznesowych zastosowań analitycznych.

Data Lake (jezioro danych)
Data Lake to centralne repozytorium danych przechowujące duże ilości danych w ich pierwotnej, surowej formie. W przeciwieństwie do tradycyjnych hurtowni danych, które wymagają uprzedniej strukturyzacji danych, data lake może przechowywać dane w dowolnym formacie, w tym: strukturyzowane, półstrukturyzowane i niestrukturyzowane.

Prowadzący szkolenie:
Dawid Grześków

Specjalista IT z pięcioletnim doświadczeniem w środowisku danowym. W swojej karierze przeszedłem przez budowanie narzędzi wewnętrznych, analitykę oraz tworzenie systemów raportowych. Aktualnie pracuję jako Inżynier Danych, gdzie Spark i Databricks stanowią moje główne narzędzia pracy.

Na co dzień pracuję z technologiami chmurowymi na platformie Azure. Programuję w Pythonie, SQL oraz Sparku. Tworzę modele, hurtownie oraz jeziora danych. Integruję rozwiązania DevOps z procesami biznesowymi. Tworzę zaplecza całych platform i rozwijam procesy integracyjne.

Projekty w których brałem udział to m.in.:

• Integracja przepływów danych wspierających mi.n. SAPa, procesy korporacyjne
• Budowanie jezior danych w celu scentralizowania zasobów przedsiębiorstwa
• Budowanie modeli analitycznych, które dotychczas były niemożliwe do zrealizowania bez Sparka.
• Wdrażanie rozwiązań DevOps/DataOps

Posiadam doświadczenie pracy w międzynarodowych firmach, gdzie wspierałem zespoły w przyswajaniu wiedzy procesowej oraz narzędziowej. Jako praktyk, wychodzę z założenia, że tylko praktyczne szkolenia dają satysfakcjonujące efekty.

Z takim założeniem stworzyłem również poniższy kurs.

Stanowisko robocze