Najważniejsze informacje

Tytuł szkolenia
O hurtowniach danych ludzkim głosem – Budujemy hurtownię w środowisku Oracle
Czas trwania
5 dni
Średnia ocena
4.81 / 5
Średnia ilość osób na szkoleniu
8
Odbywa się w miastach
Wrocław,
Warszawa,
Kraków,
Katowice
Ceny
1899 zł netto
Kod szkolenia
ORA-HURTLG

Vouchery z roczną ważnością

Istnieje możliwość wykupienia vouchera z roczną ważnością. Można zakupić przedpłaconą usługę szkoleniową w jednym okresie rozliczeniowym, a zrealizować w innym. Wpłacana kwota jest dowolna. Vouchery są ważne przez rok. W celu uzyskania szczegółowych informacji prosimy o kontakt z biurem.


Szkolenie z tabletem

Istnieje możliwość wykupu szkolenia wraz z tabletem. Na tablecie dostarczane są materiały szkoleniowe. Urządzenie w takiej sytuacji jest traktowane jako nośnik.



Szkolenie zamknięte

Szkolenie zamknięte już od 900 netto/os. Istnieje możliwość realizacji szkolenia w siedzibie klienta w dowolnym miejscu w Polsce i poza granicami.
Skontaktuj się z nami by dowiedzieć się więcej

Opis szkolenia

To nie jest szkolenie dla leniwych. Tu dużo się dzieje. Trener wyjaśnia niezbędną teorię, ale głównym celem jest tego szkolenia stworzenie i wdrożenie działającej hurtowni danych podczas tego szkolenia. To oznacza, że każdego dnia każdy uczestnik pisze dziesiątki linii kodu. To szkolenie ma na celu pomóc uczestnikowi zrozumieć hurtownie danych, ale przede wszystkim nauczyć wykorzystywania nowo nabytej wiedzy w praktyce. Przez 5 dni zgłębiamy kolejne meandry zagadnień związanych z hurtowniami danych, każdego dnia rozbudowując (każdy swoją) hurtownię tworzoną od zera. Zaczniemy od omówienia podstaw teoretycznych, przejdziemy przez procesy ekstrakcji, transformacji i ładowania danych aby na końcu nasze hurtownie zoptymalizować i dorobić do nich wygodny interfejs na potrzeby raportów analitycznych!

W trakcie kursu uczestnicy poznają również techniki z zakresu SQL i PL/SQL wykorzystywane często podczas procesów ETL. Każdy uczestnik powinien więc znać przynajmniej podstawy zarówno SQL, jak i PL/SQL. Jeśli ktoś chciałby swoją wiedzę w tym zakresie odświeżyć może zapoznać się z materiałami z tego zakresu dostępnymi tutaj:


http://jsystems.pl/storage/sqlplsql.pdf



Gdybyś chciał przed tym szkoleniem przećwiczyć podstawy SQL i PL/SQL w praktyce lub poznać je od podstaw zapraszamy Cię na szkolenie „Podstawy SQL i PL/SQL”  za 50% ceny przy zapisywaniu się na oba szkolenia naraz.

Program


Dzień 1


Teoria: Szerokie omówienie hurtowni danych, celu ich budowania, sposobów ich projektowania i tworzenia, charakterystyki i budowy. Podstawa teoretyczna niezbędna do zrozumienia hurtowni danych, pozwalająca na świadome wykorzystanie technik i narzędzi wykorzystywanych w dalszej części kursu.

Praktyka: Uczestnicy otrzymują surowe dane które docelowo mają znaleźć się w naszej hurtowni danych. Omawiamy ich strukturę, planujemy sposób ich wykorzystania. Planujemy cele wykorzystania naszej hurtowni. Następnie rozrysowujemy model logiczny i planujemy konstrukcję tworzonej hurtowni danych. Wyłania się nam pierwszy zarys docelowego systemu.


  1. Cele i harmonogram kursu

  2. Czym jest hurtownia danych i do czego służy?

    1. Hurtownia danych vs. baza operacyjna

    2. Terminologia związana z hurtowniami danych

    3. Zastosowania hurtowni danych

  3. Struktury w hurtowniach danych

    1. Model wielowymiarowy

    2. Schemat typu Star

    3. Schemat typu Snowflake

    4. Charakterystyka tabeli faktu i tabel wymiarów

    5. Ziarnistość w tabelach faktów

    6. Struktura tabeli faktów i tabel wymiarów

    7. Hierarchia wymiarów

    8. Trzecia postać normalna

    9. Stosowanie mostów

  4. Modelowanie biznesowe,logiczne i fizyczne

    1. Definiowanie modelu biznesowego

    2. Definiowanie modelu logicznego

    3. Definiowanie modelu fizycznego

    4. Typowe komponenty hurtowni danych



Dzień 2


Teoria: Dane które będziemy przetwarzać w hurtowni skądś się biorą. Mogą znajdować się w plikach płaskich czy innych bazach danych. Ponadto dane te mogą zawierać błędy, być niepełne, mogą pojawiać się duplikaty. Jeśli będziemy długo odczytywać dane, mogą one ulec zmianie w systemie źródłowym w efekcie czego dane w hurtowni mogą być niespójne. Jak sobie z tym radzić? Jak ładować te dane z różnych miejsc? Jak zadbać o ich spójność? Odpowiedzi na te pytania będą przedmiotem rozmów tego dnia ( i pewnie kilka suchych żartów też ;) ).

Praktyka: Uczestnicy otrzymują dostęp do zdalnej operacyjnej bazy danych, w której dane podlegają ciągłym zmianom. Dostają też część danych w plikach CSV. Całość musimy załadować do hurtowni w taki sposób by dane te były spójne.


  1. Przygotowanie do procesów ETL

    1. Definicje ekstrakcji, transformacji i ładowania

    2. Czemu służą te procesy?

    3. Strategia ładowania i odświeżania danych

    4. Wykorzystanie pakietu dbms_scheduler do automatyzacji procesów ETL

    5. Wykorzystanie SQL i PL/SQL w procesach ETL

  2. Procesy ETL – Ekstrakcja

    1. Czym jest ekstrakcja?

    2. Łączenie z innymi bazami danych z użyciem linków bazodanowych

    3. External Tables – Select po pliku CSV

    4. Ładowanie danych z użyciem SQL Loadera

    5. Narzędzia Exp i Imp

    6. Data Pump

    7. Problemy wynikające z utraty spójności danych podczas ekstrakcji – czyli co się stanie gdy ktoś zmienia dane które czytamy i jak sobie z tym radzić?

    8. Poziomy izolacji

    9. Tryb Serializable

    10. Tryb Flashback



Dzień 3


Teoria: Dane które poprzedniego dnia załadowaliśmy do hurtowni zawierają duplikaty i błędy, a ponadto nie są w takiej postaci w jakiej byśmy ich oczekiwali na potrzeby analiz biznesowych. W jaki sposób je przetworzyć? Jak pozbyć się duplikatów? Jak znaleźć i wyeliminować błędne dane? Czy musimy ładować wszystko? Może dodajmy tylko nowe dane i podmieńmy te które uległy zmianie w systemach źródłowych? No właśnie... jeśli jakieś dane zostały zmienione w systemie źródłowym np. zmieniono adres klienta to w hurtowni chcemy mieć stary czy nowy adres? A może oba na potrzeby analiz opartych przykładowo o rejonizację? Tego dnia będziemy musieli dobrze przemyśleć te kwestie. Tutaj nie ma miejsca na pomyłki, bo później trudno je będzie naprawić. Omówione zostaną techniki wykorzystywane przy transformacji danych z użyciem SQL i PL/SQL. Poświęcimy trochę czasu na burzę mózgów, wymienimy się doświadczeniami i pomysłami, wreszcie opracujemy wspólnie plan przetwarzania danych źródłowych i ładowania ich do hurtowni. A gdy już emocje ochłoną, wypijemy kawę i zjemy ciastko, zabierzemy się za to na co wszyscy czekają czyli....

Praktyka: czyli zrealizujemy plan w praktyce! Zaczniemy od omówienia i przećwiczenia nowych zagadnień z zakresu SQL i PL/SQL które wykorzystywane są na potrzeby transformacji – to znaczy dla każdego takiego tematu zrobimy po małym ćwiczeniu. Gdy wszyscy uczestnicy będą już przygotowani od strony technicznej, skupimy się na stronie merytorycznej. Załadowane poprzedniego dnia dane przetworzymy do postaci takiej jaka jest potrzebna w hurtowni danych. Zadbamy też o to, aby owo przetwarzanie odbywało się możliwie szybko.


  1. Procesy ETL – Transformacja

    1. Czym jest transformacja?

    2. Jakość danych

    3. Anomalie danych

    4. Duplikaty i ich eliminacja

    5. Techniki i narzędzia transformacji

    6. Obszar przejściowy

    7. Struktury fizyczne w obszarze przejściowym

    8. Zastosowanie tabel tymczasowych

    9. Stosowanie agregacji

    10. Klauzula Rollup

    11. Klauzula Cube

    12. Operator Grouping sets

    13. Operator Grouping

    14. Operator Case

    15. Stosowanie klauzuli Pivot

    16. Stosowanie podzapytań z użyciem Exists i Not Exists

    17. Wykorzystanie merge

    18. Wykorzystanie funkcji analitycznych

    19. Tworzenie funkcji strumieniowych

    20. Operacje na tablicach

    21. Operacje masowe

    22. Wykorzystanie własności pakietów PL/SQL

    23. Zmienność danych w czasie i metody radzenia sobie z problemami wynikającymi ze zmienności.



Dzień 4


Teoria: Już jesteśmy niedaleko celu. Skoro przetworzyliśmy dane do postaci docelowej, to trzeba je będzie teraz załadować do tabel w hurtowni. Omówimy więc jak to się robi, oraz jak robić to wydajnie. Porozmawiamy o zastosowaniu widoków zmaterializowanych. Przebrniemy też przez podstawowe techniki optymalizacji w hurtowniach danych. Jeśli już mamy na hurtowni robić jakąś analitykę, to wyniki chcielibyśmy otrzymywać możliwie szybko. Prawda? Uczestnicy dowiedzą się od czego zależy czas wykonywania zapytania i jak go skrócić. Porozmawiamy na temat technik które wykorzystywane są w zasadzie tylko w hurtowniach danych. Istotnym problemem może być dla uczestnika brak wymaganej do wykorzystania jakieś funkcjonalności licencji (np. Enterprise), więc zajmiemy się również metodami alternatywnymi – tj. jak osiągnąć zbliżony efekt bez podnoszenia licencji i pakowania się w koszty.

Praktyka: Skoro już znamy techniki ładowania i podstawy optymalizacji to czas to wykorzystać w praktyce! Zajmiemy się ostatnim etapem procesów ETL - ładowaniem. Nasze dane już przetworzone poprzedniego dnia wylądują wreszcie w tabelach docelowych, po czym przystąpimy do optymalizacji ich przetwarzania. Zrobimy testy wydajnościowe przed i po optymalizacji. Wyciśniemy ostatnie poty z podstawowych technik optymalizacji aby uzyskać satysfakcjonujący efekt.

  1. Procesy ETL – Ładowanie

    1. Czym jest ładowanie danych?

    2. Metody ładowania danych

    3. Modele odświeżania danych

    4. Określanie które dane uległy zmianie na potrzeby ładowania i odświeżania

    5. Zastosowanie widoków zmaterializowanych

    6. Ograniczenia widoków zmaterializowanych

    7. Rodzaje odświeżania widoków zmaterializowanych

    8. Stosowanie wyzwalaczy bazodanowych w ładowaniu i odświeżaniu

  2. Metody optymalizacji w hurtowniach danych

    1. Zasada działania optymalizatora kosztowego

    2. Rodzaje indeksów stosowanych w hurtowniach danych

    3. Indeksy B-Tree

    4. Indeksy bitmapowe

    5. Indeksy połączeniowe

    6. Indeksy a nulle

    7. Indeksy oparte o funkcje

    8. Opóźnienia ładowania danych wynikające z istnienia indeksów na tabelach. Sposoby radzenia sobie z tym problemem.

    9. Metody dostępu do danych

    10. Sposoby przetwarzania tabel i indeksów

    11. Algorytmy łączenia zbiorów

    12. Statystyki

    13. Histogramy



Dzień 5


Teoria: Dalsza część technik optymalizacyjnych. Duża część z nich będzie wymagała licencji Enterprise, więc na wszelki wypadek omówimy też techniki alternatywne, które przy nieco większym wysiłku pozwolą uzyskać poprawę wydajności na wersji Standard bez wykupywania droższej licencji Oracle Enterprise. Gdy już Nasza hurtownia działa a raporty wykonują się szybko, warto zadbać o jakiś interfejs. Oczywiście można zastosować komercyjne i zazwyczaj baaaardzo drogie oprogramowanie, ale można też zrobić całkiem ładną aplikację z użyciem bezpłatnego Oracle Apex czyli środowiska w którym jesteśmy w stanie stworzyć całkiem ładną aplikację WEB-ową znając wyłącznie SQL! Zaprezentowane zostanie wdrożenie i posługiwanie się Oracle Apex po to by ….

Praktyka: ….każdy z uczestników wdrożył Apex'a w swojej hurtowni którą tworzyliśmy ostatnie kilka dni i „wyklikał” aplikację analityczną posiadającą eleganckie tabelki z raportami, wykresy i wszystko inne co cieszy oko. Taka wisienka na torcie ;)


    1. Stosowanie podpowiedzi optymalizatora kosztowego

    2. Partycjonowanie tabel

    3. Partycje zakresowe

    4. Partycje wg wartości

    5. Partycje hashowe

    6. Partycje a optymalizator kosztowy

    7. Star Transformation

    8. Jakie operacje mogą być zrównoleglone?

    9. Stosowanie parallelizmu

    10. Wykorzystanie Query Rewrite

  1. Prosty interfejs WEB-owy do hurtowni – mini system analityczny oparty o Oracle Apex

    1. Wdrożenie Oracle Apex na serwerze

    2. Konfiguracja środowiska pracy

    3. Tworzenie aplikacji

    4. Raporty

    5. Wykresy

    6. Nawigacja w aplikacji





Szkolenia poprzedzające

Szkolenia kontynuujące

Gwarantowane terminy

Termin od Do Miasto Cena Miejsca Opcje
29-01-2018 02-02-2018 Warszawa 1899 zł netto 1 Rezerwuj Pokaż

Proponowane terminy

Termin od Do Miasto Cena Opcje
18-12-2017 22-12-2017 Kraków 1899 zł netto Rezerwuj Pokaż
18-12-2017 22-12-2017 Warszawa 1899 zł netto Rezerwuj Pokaż
18-12-2017 22-12-2017 Katowice 1899 zł netto Rezerwuj Pokaż
18-12-2017 22-12-2017 Wrocław 1899 zł netto Rezerwuj Pokaż
29-01-2018 02-02-2018 Kraków 1899 zł netto Rezerwuj Pokaż
29-01-2018 02-02-2018 Warszawa 1899 zł netto Termin gwarantowany! Rezerwuj Pokaż
29-01-2018 02-02-2018 Katowice 1899 zł netto Rezerwuj Pokaż
29-01-2018 02-02-2018 Wrocław 1899 zł netto Rezerwuj Pokaż
26-02-2018 02-03-2018 Kraków 1899 zł netto Rezerwuj Pokaż
26-02-2018 02-03-2018 Warszawa 1899 zł netto Rezerwuj Pokaż
26-02-2018 02-03-2018 Katowice 1899 zł netto Rezerwuj Pokaż
26-02-2018 02-03-2018 Wrocław 1899 zł netto Rezerwuj Pokaż
26-03-2018 30-03-2018 Kraków 1899 zł netto Rezerwuj Pokaż
26-03-2018 30-03-2018 Warszawa 1899 zł netto Rezerwuj Pokaż
26-03-2018 30-03-2018 Katowice 1899 zł netto Rezerwuj Pokaż
26-03-2018 30-03-2018 Wrocław 1899 zł netto Rezerwuj Pokaż
23-04-2018 27-04-2018 Kraków 1899 zł netto Rezerwuj Pokaż
23-04-2018 27-04-2018 Warszawa 1899 zł netto Rezerwuj Pokaż
23-04-2018 27-04-2018 Katowice 1899 zł netto Rezerwuj Pokaż
23-04-2018 27-04-2018 Wrocław 1899 zł netto Rezerwuj Pokaż
21-05-2018 25-05-2018 Kraków 1899 zł netto Rezerwuj Pokaż
21-05-2018 25-05-2018 Warszawa 1899 zł netto Rezerwuj Pokaż
21-05-2018 25-05-2018 Katowice 1899 zł netto Rezerwuj Pokaż
21-05-2018 25-05-2018 Wrocław 1899 zł netto Rezerwuj Pokaż
25-06-2018 29-06-2018 Kraków 1899 zł netto Rezerwuj Pokaż
25-06-2018 29-06-2018 Warszawa 1899 zł netto Rezerwuj Pokaż
25-06-2018 29-06-2018 Katowice 1899 zł netto Rezerwuj Pokaż
25-06-2018 29-06-2018 Wrocław 1899 zł netto Rezerwuj Pokaż