Change Location × Munich

    Recent Locations

      Apache Spark für Data Engineering in Munich


      • Apache Spark für Data Engineering Photo #1
      1 of 1
      October 23, 2019

      Wednesday   9:00 AM

      Nordendstraße 53
      Munich, Bayern 81541

      Performers:
      • No Performers Listed
      EVENT DETAILS
      Apache Spark für Data Engineering

      Inhalt Die Arbeit mit Big-Data-Technologien unterscheidet sich deutlich von der Arbeit mit herkömmlichen Datenbanktechnologien. Das Framework Apache Spark eröffnet für den Themenbereich Data Engineering viele neue Möglichkeiten. Der 3-tägige Kurs „Apache Spark für Data Engineering“ vermittelt die notwendigen Methoden und Vorgehensweisen, um Spark für Data Engineering zu verwenden. Neben dem notwendigen technischen Hintergrundwissen, den unterschiedlichen Anwendungsarten und den Besonderheiten der Datenverarbeitung mit Apache Spark auf verteilten Systemen wird anhand von diversen Praxisbeispielen die Arbeit mittels DataFrame-API in Python (und teilweise in Scala) dargestellt. Ziele Die Kursteilnehmer erhalten zunächst alle wesentlichen Informationen zu Apache Spark. Dann werden praktische Fähigkeiten vermittelt, um Data-Engineering-Projekte erfolgreich zu implementieren. Was ist Apache Spark und welche Position nimmt es im Big-Data-Universum ein? Wo wird es für welche Use Cases eingesetzt? Konnektivität von Spark mit anderen Technologien Konzepte und Konsequenzen der verteilten Verarbeitung mit Spark Möglichkeiten zur Ausführung von Spark (Notebooks, Shell ...) DataFrames, Spark SQL Performance-Faktoren und Möglichkeiten des Performance-Tunings Debuggen und Monitoring von Anwendungen über die Spark-UI Konfiguration von Spark-Jobs Implementierung von ETLs auf Basis der DataFrame-API Erstellen dynamischer Abfragen mit der DataFrame-API Structured Streaming Testing von Spark-Jobs High-Level-Konzepte von Machine Learning auf Basis von Spark Voraussetzungen & Teilnehmer Der Kurs richtet sich an alle Interessierten aus den Bereichen Big Data, Data Engineering und Data Science mit keinen oder wenigen Vorkenntnissen, die Apache Spark zur Durchführung von ETL-Aufgaben einsetzen wollen. Voraussetzungen sind: sicherer Umgang mit SQL Programmiererfahrung in Python oder Scala (siehe Vorkurs Jump Start Python) Ein eigener Laptop mit einem VirtualBox-Client und Minimum 8 GB RAM ist für die Praxisübungen erforderlich.

      Categories: Business & Networking

      Event details may change at any time, always check with the event organizer when planning to attend this event or purchase tickets.