Szkolenie Apache Hive - HiveQL od podstaw do technik zaawansowanych

W skrócie

Pięć dni i sam wyciągasz dane z Data Lake, zamiast prosić o nie zespół Big Data.

Zaczynamy od tego, czym Hive różni się od bazy, którą znasz, a kończymy na zapytaniach z funkcjami okna, partycjonowaniem tabel i wyciąganiem wartości z JSON-a.

Osią całego kursu jest jedna rzecz: HiveQL wygląda jak SQL, ale liczy się na wielu maszynach naraz, więc to samo polecenie potrafi dać inny wynik i zupełnie inny czas wykonania. Przez pięć dni uczysz się, którędy dokładnie biegnie ta granica.

Co potrafisz po tych 5 dniach

• Rozumiesz, z czego Hive jest zbudowany - Architektura Hive 3.x: Metastore, HiveServer2 oraz silniki Tez i Spark. Do tego miejsce Hive w Data Lake i w architekturze lakehouse oraz porównanie z BigQuery.
• Łączysz się z Hive tak, jak akurat wygodnie - Beeline, Hue, sterowniki JDBC i ODBC oraz Spark SQL. Narzędzie dobierasz do sytuacji, a nie odwrotnie.
• Zakładasz tabele i wiesz, co się stanie przy kasowaniu - CREATE DATABASE i CREATE TABLE oraz typy proste i złożone. Przede wszystkim różnica między tabelą zarządzaną a zewnętrzną (managed i external), razem z transakcyjnością ACID w Hive 3.x. Zły wybór typu tabeli potrafi skasować dane razem z nią.
• Piszesz zapytania, które w środowisku rozproszonym robią to, co trzeba - SELECT z aliasami, DISTINCT i LIMIT oraz filtrowanie (WHERE, LIKE, IN, BETWEEN). Do tego trzy różne sortowania: ORDER BY, SORT BY i DISTRIBUTE BY. To miejsce, w którym HiveQL najczęściej zaskakuje osoby przychodzące ze zwykłego SQL.
• Podsumowujesz duże zbiory - Funkcje agregujące (SUM, AVG, COUNT, MIN, MAX), grupowanie (GROUP BY), filtrowanie samych grup (HAVING), konstrukcja CASE WHEN oraz grupowanie wielopoziomowe.
• Łączysz tabele i wiesz, kiedy złączenie zaboli - Złączenia INNER, LEFT, RIGHT i FULL OUTER, złączenia typu ANTI (LEFT ANTI, RIGHT ANTI) do szukania różnic między zbiorami oraz SELF JOIN. Do tego Map Join i Sort Merge Join, czyli mechanizmy, od których zależy czas wykonania.
• Budujesz rankingi, trendy i sumy narastające - Funkcje ROW_NUMBER, RANK, DENSE_RANK i NTILE, sięganie do sąsiednich wierszy (LAG, LEAD) oraz obliczenia kumulatywne i średnie ruchome (SUM OVER, AVG OVER). Plus obracanie wierszy w kolumny konstrukcją CASE WHEN.
• Skracasz czas i koszt zapytania - Partycjonowanie tabel (PARTITIONED BY), bucketing (CLUSTERED BY), formaty plików ORC, Parquet i Avro oraz czytanie planu wykonania (EXPLAIN). Do tego wektoryzacja i ograniczanie przesyłu danych między węzłami.
• Radzisz sobie z danymi zagnieżdżonymi i z JSON-em - Typy złożone ARRAY, MAP i STRUCT, rozwijanie ich do zwykłych wierszy (EXPLODE i LATERAL VIEW) oraz funkcje get_json_object, json_tuple i from_json. To moment, w którym plik z systemu zewnętrznego staje się czymś, co da się zapytać.

Jak pracujemy

Pięć dni warsztatów: trzy dni podstaw i dwa dni technik zaawansowanych, bez przerwy między nimi. Prowadzi Sebastian Stasiak, deweloper aplikacji i baz danych, na co dzień pracujący w SQL na Oracle, SQL Server, PostgreSQL i Azure SQL, a wyniki analiz publikujący w Power BI.

Dla kogo

Dla osób zaczynających pracę z Apache Hive lub z ekosystemem Hadoop. Dla analityków danych znających SQL, którzy chcą przenieść tę umiejętność do Big Data, dla junior data engineerów i początkujących specjalistów BI. Także dla osób pracujących z dużymi zbiorami w Data Lake. Znajomość SQL bardzo pomaga, ale nie jest warunkiem - składnię budujemy od pierwszego SELECT. Ważne: kurs obejmuje oba poziomy naraz, więc po trzech dniach podstaw od razu wchodzimy w funkcje okna i optymalizację.

Co zyskujesz

Umiejętność pracy z danymi w Data Lake w języku, który jest bliski temu, co już znasz, komplet własnych zapytań analitycznych zbudowanych na warsztatach oraz imienny certyfikat. Szkolenie można sfinansować z BUR i KFS.

Zarezerwuj miejsce i weź się za dane, które dziś zostawiasz innym.

Istnieje możliwość całkowitego lub częściowego sfinansowania szkolenia ze środków BUR/KFS. Więcej informacji: https://jsystems.pl/dofinansowanie/