| 1 | 6,10.11 | | Wprowadzenie do technologii Apache Spark |
| 2 | [13,17.11]> 20,17.11 | | Technologia Apache Spark |
| 3 | [20,24.11]> 27,24.11 | | Technologia Apache Spark |
| 4 | [27.11,1.12]> 4,1.12 | | Apache Spark, przetwarzanie grafów |
| 5 | [4,8.12]> 11,8.12 | | Apache Spark, ML |
Tematyka zajęć
Zakres zagadnień przerabianych w czasie zajęć
- 1. Środowisko uruchomienia Apache Spark
- Spark & Jupyter
- Spark & Jupyter & Scala
- 2. Środowisko pyspark
- Klasa SparkContext
- Uruchomienie pierwszego zadania
- 3. Transformacje, akcje i zbiory RDD
- 4. Analiza danych z różnych źrodeł
- Praca z plikami DataFrame
- Praca z plikami tekstowymi
- Praca z relacyjną bazą danych PostgreSQL
Materiały do zajęć
- Opis zadań realizowanych w trakcie zajęć
-
Zakres zagadnień przerabianych w czasie zajęć
- 1. Obliczenia w Spark
- 2. Filtorwanie danych w Apache Spark
- filter(), where()
- zapytania SQL
- 3. Analiza statystyczna danych
- Proste funkcje statyczne
- Tworzenie wykresów i histogramów
- 4. Analiza pliku logu serwera WWW
Materiały do zajęć
- Opis zadań realizowanych w trakcie zajęć
Zakres zagadnień przerabianych w czasie zajęć
- 1. Analiza logu serwera WWW
- 2. Analiza danych dotyczących ruchu lotniczego
Materiały do zajęć
- Opis zadań realizowanych w trakcie zajęć
![[pic]](data:image/gif;base64,R0lGODlhIQAgAPcIAAAAAIAAAACAAICAAAAAgIAAgACAgICAgMDAwP8AAAD/AP//AAAA//8A/wD//wAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAP///yH5BAEAAAgALAAAAAAhACAAAAj/ABEIHEiwoMGDCAEoXAgAocODC/9JnKiwIMOLDQ02BDCx47+KCj12XGgRAUeREjeipGiy5EmUEf8dmEkTwceWBFWiPMARwIGVNzMO1Anzo0SaNYO6BBpz5calO3v+RDrT5tOcJpkaZYpzaFanIWVStdpVIFGPPD/+dFq25UuRPTFWVYr1rceFA/LqDXvVq12KAAZ41DugZ9uNPBl+FPxvwQIAjiXu7WvWJFWegh873gz5397DCRtv1jzac2HLVU1iVCgYMufRHCenFng57WjHrkvn9XngoVnRsG8vMC3Ud8/buXET9z0U+Gaet5czzyp8AfTNxGc/PH77gPLdSJlzI6yuu3B48Y2Ta85+Hr1o15LNt58eduJu3tqnD5WbX7//gwEBADs=)
Terminy i opis ćwiczeń laboratoryjnych