Apache Kafka - strumienie danych w praktyce
Najbliższe terminy tego szkolenia
Standardy JSystems
- Wszyscy nasi trenerzy muszą być praktykami i osiągać średnią z ankiet minimum 4.75 na 5. Nie ma wśród nas trenerów-teoretyków. Każdy trener JSystems ma bogate doświadczenie komercyjne w zakresie tematów z których prowadzi szkolenia.
- Wszystkie szkolenia mają format warszatowy. Każde zagadnienie teoretyczne jest poparte rzędem warsztatów w ściśle określonym formacie.
- Terminy gwarantowane na 100%. Jeśli jakiś termin jest oznaczony jako gwarantowany, oznacza to że odbędzie się nawet jeśli część grupy wycofa się z udziału. Ryzyko ponosimy my jako organizator.
Program szkolenia
- Topic – podstawowe cechy, parametry, składowe:
- Partition
- Order
- Offset
- Segment
- Message – key / value
- Producer i jego właściwości:
- Wspierane formaty danych, serializatory
- Wspierane rodzaje kompresji
- Idempotent producer
- Batching
- Consumer i jego właściwości, praktyczne zastosowania:
- Formaty danych, deserializatory
- Consumer groups
- Read at least once, at most once, exactly once
- Idempotent consumer
- Reset offset strategies
- Rebalance strategies
- Commit strategies
- Heartbeats
- Session timeout
- Poll interval
- Poll records
- Fetch min bytes
- Fetch max wait
- Fetch max bytes
- Max partition fetch bytes
- Read from replica
- Broker wiadomości:
- Bootstrap server
- Partition leader
- In-sync replicas (ISR)
- Dwa w jednym, czyli Consumer i Producer w jednej aplikacji – przetwarzanie danych między topicami z użyciem transakcji Kafki.
- Kafka Streams jako alternatywa do transakcji
- KStreams
- KTables
- MapValues / Map
- Filter / FilterNot
- FlatMapValues / FlatMap
- Branch
- SelectKey
- groupBy
- count
- aggregate
- reduce
- peek
- Kafka Connect, przykłady i realizacja różnych scenariuszy:
- Source Connector – na przykładzie m.in. mysql,
- Sink Connector – na przykładzie m.in. postgresql
Opis szkolenia
Szkolenie odbywa się na żywo z udziałem trenera. Nie jest to forma kursu video!Apache Kafka jest rozproszoną platformą służącą do strumieniowej wymiany danych pomiędzy różnymi systemami. Z Kafki korzystają takie firmy jak LinkedIn, Netflix, Uber, PayPal, Spotify, Airbnb oraz wiele innych.
Jej głównymi cechami są duża przepustowość, duża niezawodność oraz małe opóźnienia.
W ramach szkolenia stworzona zostanie aplikacja łącząca kilka źródeł danych, przetwarzająca je na różne sposoby i udostępniająca wyniki użytkownikowi. Aplikacja zostanie stworzona stopniowo, na podstawie kilkudziesięciu warsztatów o rosnącym stopniu zaawansowania. Podczas warsztatów przećwiczone zostaną różne scenariusze i techniki wysyłki, odbioru i przetwarzania danych z użyciem Kafki (z wykorzystaniem konsoli, Javy SE, SpringBoot), co w efekcie pozwoli na stworzenie ww. aplikacji.
Wymagania:
podstawowa znajomość Java, Git, Docker oraz systemu operacyjnego Linux
Prowadzący szkolenie: Michał Schielmann
Jestem programistą z 12-sto letnim doświadczeniem, związanym głównie z ekosystemem Javy, ale również Pythonem, bazami danych, zagadnienami DevOps (Docker, Kubernetes, CI/CD pipelines) i frameworkami JavaScriptowymi. Moja ścieżka kariery prowadziła mnie przez różne branże – od telekomunikacyjnej, przez medyczną, bankową, do giełdy energii – dzięki czemu mogłem poznać wiele technologii i ich zastosowań w poszczególnych obszarach. Od kilku lat zaangażowany jestem w prowadzenie szkoleń i warsztatów, bo wierzę, że najlepszym sposobem na naukę jest przekazywanie wiedzy innym.
Stanowisko robocze
Do tego szkolenia każdy uczestnik otrzymuje dostęp do indywidualnej wirtualnej maszyny w chmurze. Ma ona zainstalowane i skonfigurowane wszystko co potrzebne do realizacji szkolenia. Maszyna będzie dostępna przez cały okres szkolenia.
Gdy na jakiś termin zgłosi się minimalna liczba osób, termin oznaczamy jako gwarantowany.
Jeśli jakiś termin oznaczony jest jako gwarantowany to oznacza to, że na 100% się odbędzie we wskazanym czasie i miejscu.
Nawet gdyby część takiej grupy zrezygnowała lub przeniosła się na inny termin, raz ustalony termin gwarantowany takim pozostaje.
Ewentualne ryzyko ponosimy my jako organizator.
Przejdź do terminów tego szkolenia
Sprawdź, co mówią o nas ci, którzy nam zaufali
Trenerzy kategorii Big Data
Jestem programistą z 12-sto letnim doświadczeniem, związanym głównie z ekosystemem Javy, ale również Pythonem, bazami danych, zagadnienami DevOps (Docker, Kubernetes, CI/CD pipelines) i frameworkami JavaScriptowymi. Moja ścieżka kariery prowadziła mnie przez różne branże – od telekomunikacyjnej, przez medyczną, bankową, do giełdy energii – dzięki czemu mogłem poznać wiele technologii i ich zastosowań w poszczególnych obszarach. Od kilku lat zaangażowany jestem w prowadzenie szkoleń i warsztatów, bo wierzę, że najlepszym sposobem na naukę jest przekazywanie wiedzy innym.