Zarządzanie Schemami w Kafce dla deweloperów aplikacji Java
by:
Najbliższe terminy tego szkolenia
Standardy JSystems
- Wszyscy nasi trenerzy muszą być praktykami i osiągać średnią z ankiet minimum 4.75 na 5. Nie ma wśród nas trenerów-teoretyków. Każdy trener JSystems ma bogate doświadczenie komercyjne w zakresie tematów z których prowadzi szkolenia.
- Wszystkie szkolenia mają format warszatowy. Każde zagadnienie teoretyczne jest poparte rzędem warsztatów w ściśle określonym formacie.
- Terminy gwarantowane na 100%. Jeśli jakiś termin jest oznaczony jako gwarantowany, oznacza to że odbędzie się nawet jeśli część grupy wycofa się z udziału. Ryzyko ponosimy my jako organizator.
- Do każdego szkolenia które wymaga jakiegokolwiek oprogramowania dostarczamy skonfigurowane, gotowe hosty w chmurze. Dzięki temu uczestnik nie musi nic instalować na swoim komputerze (i bić się z blokadami korporacyjnymi). Połączenie następuje przez zdalny pulpit lub SSH - w zależności od szkolenia.
Program szkolenia
- Dlaczego używać Schem w Kafce?
- Retencja wiadomości
- Ewoluowanie Schem
- Przewidywalność i systemy zależne (konsumenci)
- Kompaktowość zapisu
- Formaty serializacji
- Avro
- Protobuf
- JSON & JSON Schema
- Jak działa Confluent Schema Registry
- Schemas, Subjects i Topics
- SubjectNameStrategy
- Schema Evolution & Compatibility Type
- Deployment Schem
- Używanie REST API
- Używanie Terraform
- Jak Schemy są przechowywane w Kafce?
- Confluent Wire Format
- Schemas, Subjects i Topics
- Używanie Schem w aplikacjach klienckich Spring Boot
- Konfiguracja producentów i konsumentów
- Podstawy Avro
- Avro-reflect
- Problemy z Serializacją / Deserializacją
- Poison Pill & ExceptionHandlingDeserializer
- Ćwiczenie praktyczne – Avro
- Generowanie klas Java ze Schem Avro
- Generowanie Avro z klas Java
- Serializacja i Deserializacja Java POJO za pomocą Avro
- Używanie Schem z narzędziami Kafki
- Kafka Connect
- Kafka REST Proxy
- Ćwiczenie praktyczne – Dedykowane Repozytorium Schem
- Projektowanie przepływu pracy
- Integracja z repozytorium Maven
- Integracja z Schema Registry
Opis szkolenia
Szkolenie odbywa się na żywo z udziałem trenera. Nie jest to forma kursu video!O szkoleniu w skrócie
Zarządzanie Schemami (Schema Management) jest krytycznym aspektem budowania złożonych ekosystemów Data Streaming. Zapewnia wydajność, przewidywalność i umożliwia zaawansowane integracje budowane na bazie Twoich strumieni danych. Jest to jednak często pomijane – ponieważ bez praktyki i wiedzy jest postrzegane jako dodające istotny narzut podczas dewelopmentu.
Te warsztaty są przeznaczone dla deweloperów, którzy już używają Kafki, ale albo nie używali Schem, albo mieli z nimi niewielki kontakt i chcą pogłębić swoje zrozumienie tematu. Obejmują zarówno podstawy, jak i zaawansowane tematy, które pomogą Ci stworzyć wydajny proces zarządzania Schemami, co przełoży się na płynny przepływ pracy i przewidywalną strukturę wiadomości w Topikach.
Szkolenie ma formę warsztatów z dwoma ćwiczeniami praktycznymi, które będą bardzo pomocne, jeśli chcesz zbudować lub ulepszyć sposób zarządzania Schemami w swoich projektach. Ze względu na intensywność warsztatów, nie będziemy budować wszystkiego od zera – nauczysz się, jak wygląda przepływ pracy w dojrzałym środowisku produkcyjnym. Zobaczysz jak wydajny może być ten proces i otrzymasz gotowy do użycia kod, który możesz wykorzystać.
Czego się nauczysz
- Jak działa Confluent Schema Registry
- Jak klienci Spring Boot Kafka serializują i deserializują wiadomości oraz używają Schema Registry
- Podstaw formatu serializacji Avro
- Jak mapować Schemy na Topiki i kiedy używać której strategii
- Jak używać Schem w Kafka Connect i Kafka REST Proxy
- Jak ewoluować swoje Schemy bez naruszania kompatybilności i jak wybrać Compatibility Type dla swoich Topików
- Jak zbudować dedykowane repozytorium Schem (Schema repository) i jak je zintegrować z Twoimi klientami i środowiskami Schema Registry
Co nie wchodzi w zakres
- Wdrażanie i utrzymywanie Schema Registry
- Zabezpieczanie Schema Registry
Technologie używane na warsztatach
- Confluent Schema Registry – istnieje wiele otwartych rejestrów Schem (schema registries) dla Kafki – ale Confluent Schema Registry jest najpopularniejszy i stanowi punkt odniesienia – większość alternatywnych rozwiązań implementuje API Confluent Schema Registry.
- Spring Boot – najpopularniejszy framework Java z doskonałą integracją zarówno z Kafką, jak i Schema Registry.
- Avro – najpopularniejszy format serializacji, więc będziemy go używać na otwartych warsztatach. Dedykowane warsztaty mogą być dostosowane do użycia Protobuf lub JsonSchema w ćwiczeniach.
Prowadzący szkolenie:
Jan Siekierski
Programista Java i Kotlin z 10-letnim doświadczeniem, z czego 5 lat jako Tech Lead.
Pasjonat Data Streamingu na którym obecnie koncentruje się w całości. Inne obszary w których się specjalizuje to Architektura Event-Driven, Mikroserwisy, DDD oraz Enterprise Data Architecture.
Obecnie niezależny Konsultant, Trener i Twórca, publikujący głównie na platformie LinkedIn.
Środowisko robocze
Nie jest wymagane instalowanie żadnego oprogramowania przez Uczestnika. Dostęp do gotowego środowiska na potrzeby tego szkolenia jest zapewniany każdemu Uczestnikowi przez organizatora.
Gdy na jakiś termin zgłosi się minimalna liczba osób, termin oznaczamy jako gwarantowany.
Jeśli jakiś termin oznaczony jest jako gwarantowany to oznacza to, że na 100% się odbędzie we wskazanym czasie i miejscu.
Nawet gdyby część takiej grupy zrezygnowała lub przeniosła się na inny termin, raz ustalony termin gwarantowany takim pozostaje.
Ewentualne ryzyko ponosimy my jako organizator.
Przejdź do terminów tego szkolenia
Sprawdź pozostałe szkolenia z kategorii:
Big Data
Zobacz
Sprawdź, co mówią o nas ci, którzy nam zaufali
Trenerzy kategorii Big Data
Dawid Grześków
Dawid Grześków
Specjalista IT z pięcioletnim doświadczeniem w środowisku danowym. W swojej karierze przeszedłem przez budowanie narzędzi wewnętrznych, analitykę oraz tworzenie systemów raportowych. Aktualnie pracuje jako Inżynier Danych, gdzie Spark i Databricks stanowią moje główne narzędzia pracy.
Na co dzień pracuje z technologiami chmurowymi na platformie Azure. Programuje w Pythonie, SQL oraz Sparku. Tworzę modele, hurtownie oraz jeziora danych. Integruję rozwiązania DevOps z procesami biznesowymi. Tworzę zaplecza całych platform i rozwijam procesy integracyjne.
Projekty w których brałem udział to m.in.:
- Integracja przepływów danych wspierających mi.n. SAPa, procesy korporacyjne
- Budowanie jezior danych w celu scentralizowania zasobów przedsiębiorstwa
- Budowanie modeli analitycznych, które dotychczas były niemożliwe do zrealizowania bez Sparka.
- Wdrażanie rozwiązań DevOps/DataOps
Posiadam doświadczenie pracy w międzynarodowych firmach, gdzie wspierałem zespoły w przyswajaniu wiedzy procesowej oraz narzędziowej. Jako praktyk, wychodzę z założenia, że tylko praktyczne szkolenia dają satysfakcjonujące efekty.
Michał Schielmann
Michał Schielmann
Jestem programistą z 12-sto letnim doświadczeniem, związanym głównie z ekosystemem Javy, ale również Pythonem, bazami danych, zagadnienami DevOps (Docker, Kubernetes, CI/CD pipelines) i frameworkami JavaScriptowymi. Moja ścieżka kariery prowadziła mnie przez różne branże – od telekomunikacyjnej, przez medyczną, bankową, do giełdy energii – dzięki czemu mogłem poznać wiele technologii i ich zastosowań w poszczególnych obszarach. Od kilku lat zaangażowany jestem w prowadzenie szkoleń i warsztatów, bo wierzę, że najlepszym sposobem na naukę jest przekazywanie wiedzy innym.
Jan Siekierski
Jan Siekierski
Programista Java i Kotlin z 10-letnim doświadczeniem, z czego 5 lat jako Tech Lead.
Pasjonat Data Streamingu na którym obecnie koncentruje się w całości. Inne obszary w których się specjalizuje to Architektura Event-Driven, Mikroserwisy, DDD oraz Enterprise Data Architecture.
Obecnie niezależny Konsultant, Trener i Twórca, publikujący głównie na platformie LinkedIn.
Ostatnie miejsca!