fbpx

Kurs Apache Airflow

Czas trwania
24 godziny
Uzyskany certyfikat
Expose
Najbliższy termin
19.02.2024 - 21.02.2024

o szkoleniu

Opis szkolenia

Szkolenie Apache Airflow lub po prostu szkolenia Airflow zapoznaje uczestników z technologią Apache Airflow (w skrócie Airflow) w sposób praktyczny. Na kursie zostaje przekazana praktyczna wiedza z zakresu planowania i sterowania przepływami pracy zadań powiązanych z ETL. Podczas zadań zostaną omówienia sposoby implementacji poszczególnych zadań, sterowanie całym planem wykonania oraz tworzenie połączeń do źródeł zewnętrznych (np. bazy danych). Nie zabraknie również podstaw administracji oraz wykonywania poleceń z poziomu API narzędzia

Grupa docelowa: DevOpsi, Programiści, Inżynierowie Danych

Środowisko pracy: 1. Konteneryzacja za pomocą Dockera, 2. Maszyna wirtualna z systemem operacyjnym Linux (preferowany Debian/Ubuntu)

Wymagana wiedza: Bardzo dobra znajomość języka Python, Podstawy programowania w Shell Script (Bash)

Czego Cię nauczymy?

Architektura i porównanie Wersji

Nauczymy Cię podstawowej architektury Apache Airflow oraz przeprowadzimy porównanie między wersją 1.0 a 2.0. Dowiesz się, jakie zmiany zaszły między tymi dwiema wersjami, co pomoże Ci lepiej zrozumieć, jak efektywnie korzystać z najnowszych funkcji. Po ukończeniu tego modułu będziesz gotów zainstalować środowisko pracy i przystąpić do praktycznego wykorzystania tej wiedzy.

Tworzenie pierwszego planu i praca z operatorami

W tym module skoncentrujemy się na praktycznych aspektach korzystania z Apache Airflow. Nauczysz się korzystać z interfejsu, tworzyć podstawowe plany oraz operować na operatorach, takich jak Empty czy Bash. Dzięki temu zrozumiesz, jakie możliwości oferuje narzędzie w zakresie planowania i wykonywania zadań.

Techniki związane z operatorami i Sensorami

Omówimy bardziej zaawansowane aspekty korzystania z operatorów, takich jak Python czy Http. Nauczysz się tworzyć połączenia do różnych źródeł zewnętrznych, a także korzystać z sensorów, takich jak File, Http czy Python, aby skutecznie kontrolować przepływ pracy zadań.

Zarządzanie zadaniami i optymalizacja wykonań

Ten moduł koncentruje się na skutecznym zarządzaniu zadaniami w Apache Airflow. Nauczysz się tworzyć harmonogram zadań, radzić sobie z catchup & backfill, wykorzystywać tagi oraz resetować wykonań. Poznasz także zaawansowane koncepcje, takie jak operator PythonBranch i trigger rules, które umożliwią Ci jeszcze lepszą kontrolę nad przepływem pracy.

Program szkolenia

Poniższy program obejmuje główne tematy poruszane podczas szkolenia „Apache Airflow . Dzięki tym punktom uczestnicy zdobędą wiedzę teoretyczną i praktyczne umiejętności potrzebne do pracy z Airflow.

1. Wprowadzenie

  • Architektura
  • Porównanie wersji 1.0 i 2.0
  • Instalacja środowiska pracy

2. Pierwszy plan

  • Omówienie interfejsu
  • Tworzenie pierwszego planu
  • Operatory: Empty, Bash

3. Operatory i sensory

  • Operatory: Python, Http
  • Tworzenie połączeń
  • Sensory: File, Http, Python

4. Zarządzanie zadaniami

  • Harmonogogram zadań
  • Catchup & Backfil
  • Tagi
  • Resetowanie wykonań
  • Operator: PythonBranch
  • Trigger rules

5. Zmienne DAGa

  • Zmienne Airflow
  • Obiekt x-com
  • Konfiguracja DAGa
  • Jinja Template

6. Praca z zbiorami danych

  • Połączenie z bazami danych SQL
  • Połączenie z MongoDB
  • Połączenie z S3

7. Zarządzanie środowiskiem Airflow

  • Instalacja pakietów
  • Tworzenie połączeń (overview)
  • Aktualizacja narzędzia
  • Uruchamianie klastra / wersji HA
Pliki do pobrania
Wybierz rodzaj szkolenia
Szkolenie grupowe
Szkolenie indywidualne
Cena szkolenia:
2 990 PLN /netto
Szkolenie zawiera:
Samodzielne stanowisko komputerowe (nie musisz przychodzić z własnym laptopem)
Zajęcia w kameralnych grupach
Przerwy kawowe oraz lunch
Certyfikat ukończenia kursu
Konsultacje online z trenerem po szkoleniu
Materiały szkoleniowe
Samodzielne stanowisko komputerowe (nie musisz przychodzić z własnym laptopem)
Zajęcia 1 na 1 z trenerem
Przerwy kawowe oraz lunch
Certyfikat ukończenia kursu
Konsultacje online z trenerem po szkoleniu
Materiały szkoleniowe

warunki nauczania

Nasze sale szkoleniowe

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

certyfikaty
Potwierdzone umiejętności
Expose

Po każdym ukończonym szkoleniu otrzymujesz certyfikat, który potwierdza ukończenie szkolenia w danym terminie oraz dokumentuje ramowy zakres ukończonego szkolenia, a tym samym posiadane umiejętności.

Na przestrzeni 10 lat współpracowaliśmy z największymi firmami i instytucjami w Polsce, przez co nasze certyfikaty są rozpoznawane w całym kraju.

opinie
Co mówią kursanci?

Dzięki szkoleniu, poznałam wiele nowych możliwości jakie oferuje program, co w dużej mierze usprawniło moją pracę przy obróbce zdjęć.

Małgorzata Okleja

Szkolenie było bardzo przydatne, wszelkie zagadnienia które mnie interesowały zostały poruszone i rzetelnie wyjaśnione, nawet te ponadprogramowe. Zdobycie takiej wiedzy samemu skutkowałoby poświęceniem o wiele większej ilości czasu. Trener Łukasz Oberlan był jak najbardziej przygotowany do zajęć, prowadził szkolenie profesjonalnie, idealnie wyważając proporcje pomiędzy teorią i praktyką. Jestem pełen podziwu dla jego wiedzy merytorycznej i umiejętności.

Krzysztof Kozioł

Szkolenie przeprowadzone bardzo profesjonalnie i fachowo w miłej atmosferze.

Edyta Cyran

Bardzo ciekawe zajęcia. Dużo nowych wiadomości i cennych wskazówek.

Anonim

Szkolenie przydatne pod wieloma względami, uzupełnia wiedzę oraz wskazuje owe rozwiązania.

Magdalena Mission

Oceniam bardzo pozytywnie, wielkie zaangażowanie w prowadzenie szkolenia, doskonała komunikatywność, obserwacja grupy i sprawdzanie przyswajania wiedzy przez poszczególne osoby.

Krystyna Bielecka

Szczególnie podobał mi się sposób prowadzenia szkolenia, sympatyczny prowadzący. Wszystko było OK!

Anonim

Oceniam bardzo pozytywnie, wielkie zaangażowanie w prowadzenie szkolenia, doskonała komunikatywność, obserwacja grupy i sprawdzanie przyswajania wiedzy przez poszczególne osoby.

Krystyna Bielecka

Bardzo przystępny język dla słuchacza, łatwość zrozumienia.

Anonim

Uważam, że szkolenie w przystępny i “szybki” sposób umożliwia poznanie nowej wiedzy, bardzo przydatnej w codziennej pracy.

Joanna Rytel-Szczęsna

Uważam, że trener sprawił, że szkolenie było przystępne i ciekawe.

Anonim

Pozytywna atmosfera na szkoleniu, chęć przekazania jak najwięcej informacji.

Justyna Szymańska

Trener komunikatywny, profesjonalny, o dużej wiedzy, uprzejmy, cierpliwy. Nic nie zmieniać.

Ilona Janicka
Zapisz się!
Miejsca i terminy szkolenia
Miejsce szkolenia
Data szkolenia
Rodzaj
Wybrane
Warszawa
19.02.2024 - 21.02.2024
Stacjonarne
Cała Polska
19.02.2024 - 21.02.2024
Zdalne
Warszawa
06.05.2024 - 08.05.2024
Stacjonarne
Cała Polska
06.05.2024 - 08.05.2024
Zdalne
Warszawa
12.08.2024 - 14.08.2024
Stacjonarne
Cała Polska
12.08.2024 - 14.08.2024
Zdalne
Warszawa
14.10.2024 - 16.10.2024
Stacjonarne
Cała Polska
14.10.2024 - 16.10.2024
Zdalne
Formularz zapisu na szkolenie
Szkolenie grupowe
Szkolenie indywidualne

    Szkolenia zamknięte na wyłączność

    Zajmujemy się również organizowaniem szkoleń zamkniętych, na wyłączność, dla osób lub firm, w miejscu wskazanym przez zamawiającego. Wystarczy się z nami skontaktować i ustalić szczegóły.

    Kontakt
    zobacz też
    Podobne szkolenia
    Czas trwania
    14 godzin
    Uzyskany certyfikat
    Expose
    Najbliższy termin
    01.04.2024 - 02.04.2024
    Cena szkolenia:
    1 690 PLN /netto
    Czas trwania
    24 godziny
    Uzyskany certyfikat
    Expose
    Najbliższy termin
    10.06.2024 - 12.06.2024
    Cena szkolenia:
    1 990 PLN /netto
    Czas trwania
    24 godziny
    Uzyskany certyfikat
    Expose
    Najbliższy termin
    13.05.2024 - 15.05.2024
    Cena szkolenia:
    1 990 PLN /netto
    Gratulacje!
    Wniosek został wysłany prawidłowo.
    Dziękujemy za przesłanie zapytania. Skontaktujemy się z Tobą najszybciej jak to możliwe.