Terminy i opis ćwiczeń laboratoryjnych

Zakres zagadnień przerabianych w czasie zajęć

1. Środowisko uruchomienia Apache Spark

• Spark & Jupyter
• Spark & Jupyter & Scala

2. Środowisko pyspark

• Klasa SparkContext
• Uruchomienie pierwszego zadania

3. Transformacje, akcje i zbiory RDD

4. Analiza danych z różnych źrodeł

• Praca z plikami DataFrame
• Praca z plikami tekstowymi
• Praca z relacyjną bazą danych PostgreSQL

Materiały do zajęć

Opis zadań realizowanych w trakcie zajęć

• Link do strony z ćwiczeniami

Zakres zagadnień przerabianych w czasie zajęć

1. Obliczenia w Spark

• Obliczenia Monte Carlo

2. Filtorwanie danych w Apache Spark

• filter(), where()
• zapytania SQL

3. Analiza statystyczna danych

• Proste funkcje statyczne
• Tworzenie wykresów i histogramów

4. Analiza pliku logu serwera WWW

Materiały do zajęć

Opis zadań realizowanych w trakcie zajęć

• Link do strony z ćwiczeniami

Zakres zagadnień przerabianych w czasie zajęć

1. Analiza logu serwera WWW

2. Analiza danych dotyczących ruchu lotniczego

Materiały do zajęć

Opis zadań realizowanych w trakcie zajęć

• Link do strony z ćwiczeniami

Zakres zagadnień przerabianych w czasie zajęć

1. Wprowadzanie do przetwarzania grafów w Sparku

2. Analiza grafów - najkrótsza ścieżka

3. Page Rank

4. Analiza lotów

Materiały do zajęć

Opis zadań realizowanych w trakcie zajęć

• Link do strony z ćwiczeniami