| 1 | 6,10.11 | | Wprowadzenie do technologii Apache Spark |
| 2 | [13,17.11]> 20,17.11 | | Technologia Apache Spark |
| 3 | [20,24.11]> 27,24.11 | | Technologia Apache Spark |
| 4 | [27.11,1.12]> 4,1.12 | | Apache Spark, przetwarzanie grafów |
| 5 | [4,8.12]> 11,8.12 | | Apache Spark, ML |
Tematyka zajęć
Zakres zagadnień przerabianych w czasie zajęć
- 1. Środowisko uruchomienia Apache Spark
- Spark & Jupyter
- Spark & Jupyter & Scala
- 2. Środowisko pyspark
- Klasa SparkContext
- Uruchomienie pierwszego zadania
- 3. Transformacje, akcje i zbiory RDD
- 4. Analiza danych z różnych źrodeł
- Praca z plikami DataFrame
- Praca z plikami tekstowymi
- Praca z relacyjną bazą danych PostgreSQL
Materiały do zajęć
- Opis zadań realizowanych w trakcie zajęć
-
Zakres zagadnień przerabianych w czasie zajęć
- 1. Obliczenia w Spark
- 2. Filtorwanie danych w Apache Spark
- filter(), where()
- zapytania SQL
- 3. Analiza statystyczna danych
- Proste funkcje statyczne
- Tworzenie wykresów i histogramów
- 4. Analiza pliku logu serwera WWW
Materiały do zajęć
- Opis zadań realizowanych w trakcie zajęć
Zakres zagadnień przerabianych w czasie zajęć
- 1. Analiza logu serwera WWW
- 2. Analiza danych dotyczących ruchu lotniczego
Materiały do zajęć
- Opis zadań realizowanych w trakcie zajęć