Apache Kafka - strumienie danych w praktyce
by:
Najbliższe terminy tego szkolenia
Standardy JSystems
- Wszyscy nasi trenerzy muszą być praktykami i osiągać średnią z ankiet minimum 4.75 na 5. Nie ma wśród nas trenerów-teoretyków. Każdy trener JSystems ma bogate doświadczenie komercyjne w zakresie tematów z których prowadzi szkolenia.
- Wszystkie szkolenia mają format warszatowy. Każde zagadnienie teoretyczne jest poparte rzędem warsztatów w ściśle określonym formacie.
- Terminy gwarantowane na 100%. Jeśli jakiś termin jest oznaczony jako gwarantowany, oznacza to że odbędzie się nawet jeśli część grupy wycofa się z udziału. Ryzyko ponosimy my jako organizator.
- Do każdego szkolenia które wymaga jakiegokolwiek oprogramowania dostarczamy skonfigurowane, gotowe hosty w chmurze. Dzięki temu uczestnik nie musi nic instalować na swoim komputerze (i bić się z blokadami korporacyjnymi). Połączenie następuje przez zdalny pulpit lub SSH - w zależności od szkolenia.
Program szkolenia
- Topic – podstawowe cechy, parametry, składowe:
- Partition
- Order
- Offset
- Segment
- Message – key / value
- Producer i jego właściwości:
- Wspierane formaty danych, serializatory
- Wspierane rodzaje kompresji
- Idempotent producer
- Batching
- Consumer i jego właściwości, praktyczne zastosowania:
- Formaty danych, deserializatory
- Consumer groups
- Read at least once, at most once, exactly once
- Idempotent consumer
- Reset offset strategies
- Rebalance strategies
- Commit strategies
- Heartbeats
- Session timeout
- Poll interval
- Poll records
- Fetch min bytes
- Fetch max wait
- Fetch max bytes
- Max partition fetch bytes
- Read from replica
- Broker wiadomości:
- Bootstrap server
- Partition leader
- In-sync replicas (ISR)
- Dwa w jednym, czyli Consumer i Producer w jednej aplikacji – przetwarzanie danych między topicami z użyciem transakcji Kafki.
- Kafka Streams jako alternatywa do transakcji
- KStreams
- KTables
- MapValues / Map
- Filter / FilterNot
- FlatMapValues / FlatMap
- Branch
- SelectKey
- groupBy
- count
- aggregate
- reduce
- peek
- Kafka Connect, przykłady i realizacja różnych scenariuszy:
- Source Connector – na przykładzie m.in. mysql,
- Sink Connector – na przykładzie m.in. postgresql
Opis szkolenia
Szkolenie odbywa się na żywo z udziałem trenera. Nie jest to forma kursu video!Apache Kafka jest rozproszoną platformą służącą do strumieniowej wymiany danych pomiędzy różnymi systemami. Z Kafki korzystają takie firmy jak LinkedIn, Netflix, Uber, PayPal, Spotify, Airbnb oraz wiele innych.
Jej głównymi cechami są duża przepustowość, duża niezawodność oraz małe opóźnienia.
W ramach szkolenia stworzona zostanie aplikacja łącząca kilka źródeł danych, przetwarzająca je na różne sposoby i udostępniająca wyniki użytkownikowi. Aplikacja zostanie stworzona stopniowo, na podstawie kilkudziesięciu warsztatów o rosnącym stopniu zaawansowania. Podczas warsztatów przećwiczone zostaną różne scenariusze i techniki wysyłki, odbioru i przetwarzania danych z użyciem Kafki (z wykorzystaniem konsoli, Javy SE, SpringBoot), co w efekcie pozwoli na stworzenie ww. aplikacji.
Wymagania:
podstawowa znajomość Java, Git, Docker oraz systemu operacyjnego Linux
Prowadzący szkolenie:
Michał Schielmann
Jestem programistą z 12-sto letnim doświadczeniem, związanym głównie z ekosystemem
Javy, ale również Pythonem, bazami danych, zagadnienami DevOps (Docker, Kubernetes,
CI/CD pipelines) i frameworkami JavaScriptowymi.
Moja ścieżka kariery prowadziła mnie przez różne branże – od telekomunikacyjnej, przez
medyczną, bankową, do giełdy energii – dzięki czemu mogłem poznać wiele technologii i ich
zastosowań w poszczególnych obszarach.
Od kilku lat zaangażowany jestem w prowadzenie szkoleń i warsztatów, bo wierzę, że
najlepszym sposobem na naukę jest przekazywanie wiedzy innym.
Stanowisko robocze
Do tego szkolenia każdy uczestnik otrzymuje dostęp do indywidualnej wirtualnej maszyny w chmurze. Ma ona zainstalowane i skonfigurowane wszystko co potrzebne do realizacji szkolenia. Maszyna będzie dostępna przez cały okres szkolenia.
Terminy gwarantowane
Gdy na jakiś termin zgłosi się minimalna liczba osób, termin oznaczamy jako gwarantowany.
Jeśli jakiś termin oznaczony jest jako gwarantowany to oznacza to, że na 100% się odbędzie we wskazanym czasie i miejscu.
Nawet gdyby część takiej grupy zrezygnowała lub przeniosła się na inny termin, raz ustalony termin gwarantowany takim pozostaje.
Ewentualne ryzyko ponosimy my jako organizator.
Przejdź do terminów tego szkolenia
Szkolenia online
Szkolenia online odbywają się na żywo z udziałem trenera. Uczestniczy łączą się na szkolenie za pomocą platfomy ZOOM.
Informacje o wymaganym niezbędnym oprogramowaniu oraz informacje organizacyjne uczestnicy otrzymują na 7 dni przed datą rozpoczęcia szkolenia.
Inne szkolenia tej kategorii
Sprawdź pozostałe
szkolenia Big Data!
Sprawdź, co mówią o nas ci, którzy nam zaufali
Trenerzy kategorii Big Data
Michał Schielmann
Michał Schielmann
Jestem programistą z 12-sto letnim doświadczeniem, związanym głównie z ekosystemem Javy, ale również Pythonem, bazami danych, zagadnienami DevOps (Docker, Kubernetes, CI/CD pipelines) i frameworkami JavaScriptowymi. Moja ścieżka kariery prowadziła mnie przez różne branże – od telekomunikacyjnej, przez medyczną, bankową, do giełdy energii – dzięki czemu mogłem poznać wiele technologii i ich zastosowań w poszczególnych obszarach. Od kilku lat zaangażowany jestem w prowadzenie szkoleń i warsztatów, bo wierzę, że najlepszym sposobem na naukę jest przekazywanie wiedzy innym.
Dawid Grześków
Dawid Grześków
Specjalista IT z pięcioletnim doświadczeniem w środowisku danowym. W swojej karierze przeszedłem przez budowanie narzędzi wewnętrznych, analitykę oraz tworzenie systemów raportowych. Aktualnie pracuje jako Inżynier Danych, gdzie Spark i Databricks stanowią moje główne narzędzia pracy.
Na co dzień pracuje z technologiami chmurowymi na platformie Azure. Programuje w Pythonie, SQL oraz Sparku. Tworzę modele, hurtownie oraz jeziora danych. Integruję rozwiązania DevOps z procesami biznesowymi. Tworzę zaplecza całych platform i rozwijam procesy integracyjne.
Projekty w których brałem udział to m.in.:
- Integracja przepływów danych wspierających mi.n. SAPa, procesy korporacyjne
- Budowanie jezior danych w celu scentralizowania zasobów przedsiębiorstwa
- Budowanie modeli analitycznych, które dotychczas były niemożliwe do zrealizowania bez Sparka.
- Wdrażanie rozwiązań DevOps/DataOps
Posiadam doświadczenie pracy w międzynarodowych firmach, gdzie wspierałem zespoły w przyswajaniu wiedzy procesowej oraz narzędziowej. Jako praktyk, wychodzę z założenia, że tylko praktyczne szkolenia dają satysfakcjonujące efekty.
