fbpx

Kurs PySpark

Czas trwania
24 godziny
Uzyskany certyfikat
Expose
Najbliższy termin
13.03.2024 - 15.03.2024

o szkoleniu

Opis szkolenia

Szkolenie PySpark wprowadza do narzędzia Apache Spark zaimplementowanego dla języka programowania Python (PySpark). Uczestnik w czasie kursu zapozna się z architekturą i sposobem działania narzędzia, a przez ćwiczenia praktyczna nauczy się przetwarzania danych w oparciu o funkcje wbudowane i moduł Spark SQL. Zostaną również poruszone kwestie z zakresu Delta Lake i formatu delta.

Grupa docelowa: Analitycy danych, Inżynierowie Danych, Data Scientist, Developerzy

Środowisko pracy: maszyna wirtualna z systemem operacyjnym typu Linux, kontener Jupyter Notebook, Azure Databricks (dodatkowy koszt)

Wymagana wiedza: znajomość składni SQL, dobra znajomość języka Python

Czego Cię nauczymy?

Architektura Apache Spark i Data Flow

Po przejściu tego szkolenia uczestnicy zyskają pełne zrozumienie architektury Apache Spark i sposobu przetwarzania danych w tym narzędziu. Obejmiemy kluczowe elementy, takie jak RDDs (Resilient Distributed Datasets) i operacje transformacyjne, pozwalając uczestnikom zobaczyć, jak dane przemieszczają się w obrębie klastra Spark. Praktyczne ćwiczenia pomogą w zrozumieniu, jak efektywnie przygotować środowisko pracy do pracy z PySpark.

Pierwszy program z użyciem PySpark

Uczestnicy nauczą się zakładania sesji PySpark, tworzenia DataFrame’ów i manipulowania nimi za pomocą wbudowanych funkcji. Będą w stanie wyświetlać dane, definiować schematy, a także pracować z kolekcjami danych. Poprzez stworzenie pierwszego programu, zyskają praktyczne umiejętności niezbędne do rozpoczęcia pracy z Apache Spark w języku Python.

Efektywne przetwarzanie danych

Uczestnicy nauczą się, jak odczytywać dane z plików CSV, dokonywać konwersji typów danych, sortować oraz filtrować dane. Przećwiczą techniki manipulacji danymi, co pozwoli im na efektywne selekcjonowanie informacji. Ponadto, będą w stanie pracować z różnymi formatami danych, co zwiększy ich elastyczność w obszarze przetwarzania danych.

Grupowanie, funkcje agregujące i łączenie zbiorów

W tym punkcie szkolenia uczestnicy zdobędą umiejętności grupowania danych, wykorzystywania funkcji agregujących i łączenia różnych zbiorów danych. Nauczą się, jak efektywnie analizować dane w kontekście bardziej zaawansowanych scenariuszy, co obejmuje również przegląd technik pracy z danymi w kontekście relacyjnym.

Program szkolenia

Poniższy program obejmuje główne tematy poruszane podczas szkolenia PySpark. Dzięki tym punktom uczestnicy zdobędą wiedzę teoretyczną i praktyczne umiejętności potrzebne do pracy z PySpark.

1. Wprowadzenie

  • Architektura Apache Spark
  • Data flow
  • Przygotowanie środowiska pracy

2. Pierwszy program

  • Utworzenie sesji
  • Stworzenie DataFrame
  • Wyświetlanie danych i schematu
  • Tworzenie schematu danych
  • Kolekcje danych

3. Selekcja danych i pliki csv

  • Odczyt danych z pliku CSV
  • Konwersja typu danych
  • Sortowanie
  • Filtrowanie danych

4. Grupowanie i zbiory

  • Funkcje agregujące
  • Grupowanie danych
  • Łączenie zbiorów

5. UDF, SQL, Map

  • Tworzenie funkcji użytkownika (UDF)
  • Wykorzystywanie modułu Spark SQL
  • Mapowanie danych/zbiorów danych

6. Format danych i optymalizacja

  • Praca z plikami JSON
  • Praca z plikami XML
  • Praca z formatami: parquet, avro
  • Cache i persistent w DataFrame

7. Delta Table

  • Architektura Delta Lake
  • Wprowadzenie do formatu delta
  • Transakcje i operacje CRUD
  • Optymalizacja i zarządzanie plikami
Pliki do pobrania
Wybierz rodzaj szkolenia
Szkolenie grupowe
Szkolenie indywidualne
Cena szkolenia:
2 990 PLN /netto
Szkolenie zawiera:
Samodzielne stanowisko komputerowe (nie musisz przychodzić z własnym laptopem)
Zajęcia w kameralnych grupach
Przerwy kawowe oraz lunch
Certyfikat ukończenia kursu
Konsultacje online z trenerem po szkoleniu
Materiały szkoleniowe
Samodzielne stanowisko komputerowe (nie musisz przychodzić z własnym laptopem)
Zajęcia 1 na 1 z trenerem
Przerwy kawowe oraz lunch
Certyfikat ukończenia kursu
Konsultacje online z trenerem po szkoleniu
Materiały szkoleniowe

warunki nauczania

Nasze sale szkoleniowe

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

Nasze biuro i sale szkoleniowe

ul. Skierniewicka 10a, 01-230 Warszawa, Budynek Renaissance Tower

certyfikaty
Potwierdzone umiejętności
Expose

Po każdym ukończonym szkoleniu otrzymujesz certyfikat, który potwierdza ukończenie szkolenia w danym terminie oraz dokumentuje ramowy zakres ukończonego szkolenia, a tym samym posiadane umiejętności.

Na przestrzeni 10 lat współpracowaliśmy z największymi firmami i instytucjami w Polsce, przez co nasze certyfikaty są rozpoznawane w całym kraju.

opinie
Co mówią kursanci?

Dzięki szkoleniu, poznałam wiele nowych możliwości jakie oferuje program, co w dużej mierze usprawniło moją pracę przy obróbce zdjęć.

Małgorzata Okleja

Szkolenie było bardzo przydatne, wszelkie zagadnienia które mnie interesowały zostały poruszone i rzetelnie wyjaśnione, nawet te ponadprogramowe. Zdobycie takiej wiedzy samemu skutkowałoby poświęceniem o wiele większej ilości czasu. Trener Łukasz Oberlan był jak najbardziej przygotowany do zajęć, prowadził szkolenie profesjonalnie, idealnie wyważając proporcje pomiędzy teorią i praktyką. Jestem pełen podziwu dla jego wiedzy merytorycznej i umiejętności.

Krzysztof Kozioł

Szkolenie przeprowadzone bardzo profesjonalnie i fachowo w miłej atmosferze.

Edyta Cyran

Bardzo ciekawe zajęcia. Dużo nowych wiadomości i cennych wskazówek.

Anonim

Szkolenie przydatne pod wieloma względami, uzupełnia wiedzę oraz wskazuje owe rozwiązania.

Magdalena Mission

Oceniam bardzo pozytywnie, wielkie zaangażowanie w prowadzenie szkolenia, doskonała komunikatywność, obserwacja grupy i sprawdzanie przyswajania wiedzy przez poszczególne osoby.

Krystyna Bielecka

Szczególnie podobał mi się sposób prowadzenia szkolenia, sympatyczny prowadzący. Wszystko było OK!

Anonim

Oceniam bardzo pozytywnie, wielkie zaangażowanie w prowadzenie szkolenia, doskonała komunikatywność, obserwacja grupy i sprawdzanie przyswajania wiedzy przez poszczególne osoby.

Krystyna Bielecka

Bardzo przystępny język dla słuchacza, łatwość zrozumienia.

Anonim

Uważam, że szkolenie w przystępny i “szybki” sposób umożliwia poznanie nowej wiedzy, bardzo przydatnej w codziennej pracy.

Joanna Rytel-Szczęsna

Uważam, że trener sprawił, że szkolenie było przystępne i ciekawe.

Anonim

Pozytywna atmosfera na szkoleniu, chęć przekazania jak najwięcej informacji.

Justyna Szymańska

Trener komunikatywny, profesjonalny, o dużej wiedzy, uprzejmy, cierpliwy. Nic nie zmieniać.

Ilona Janicka
Zapisz się!
Miejsca i terminy szkolenia
Miejsce szkolenia
Data szkolenia
Rodzaj
Wybrane
Warszawa
13.03.2024 - 15.03.2024
Stacjonarne
Cała Polska
13.03.2024 - 15.03.2024
Zdalne
Warszawa
17.06.2024 - 19.06.2024
Stacjonarne
Cała Polska
17.06.2024 - 19.06.2024
Zdalne
Warszawa
16.09.2024 - 18.09.2024
Stacjonarne
Cała Polska
16.09.2024 - 18.09.2024
Zdalne
Warszawa
16.12.2024 - 18.12.2024
Stacjonarne
Cała Polska
16.12.2024 - 18.12.2024
Zdalne
Formularz zapisu na szkolenie
Szkolenie grupowe
Szkolenie indywidualne

    Szkolenia zamknięte na wyłączność

    Zajmujemy się również organizowaniem szkoleń zamkniętych, na wyłączność, dla osób lub firm, w miejscu wskazanym przez zamawiającego. Wystarczy się z nami skontaktować i ustalić szczegóły.

    Kontakt
    zobacz też
    Podobne szkolenia
    Czas trwania
    14 godzin
    Uzyskany certyfikat
    Expose
    Najbliższy termin
    01.04.2024 - 02.04.2024
    Cena szkolenia:
    1 690 PLN /netto
    Czas trwania
    24 godziny
    Uzyskany certyfikat
    Expose
    Najbliższy termin
    26.02.2024 - 28.02.2024
    Cena szkolenia:
    2 990 PLN /netto
    Czas trwania
    24 godziny
    Uzyskany certyfikat
    Expose
    Najbliższy termin
    19.02.2024 - 21.02.2024
    Cena szkolenia:
    2 990 PLN /netto
    Gratulacje!
    Wniosek został wysłany prawidłowo.
    Dziękujemy za przesłanie zapytania. Skontaktujemy się z Tobą najszybciej jak to możliwe.