Dateningenieur - Hattersheim, Deutschland - NexGen Innovations

Beschreibung

**Data Engineer**
- Wir suchen einen Data Engineer, der Teil der Data Analytics Abteilung ist und eng mit Big Data bei einem unserer Hauptkunden aus dem Bankensektor in Tres Cantos, Madrid, zusammenarbeitet.

**Was wird deine Mission sein?**
- Integration der erforderlichen Big Data-Tools und Frameworks sowie Überwachung der Leistung und Beratung zu erforderlichen Infrastrukturänderungen in Zusammenarbeit mit verschiedenen Abteilungen wie Big Data, Data Analytics, CRM und Digital Marketing.
- Deine Hauptaufgaben werden sein:

- Integration der erforderlichen Big Data-Tools und Frameworks
- Suche nach geeigneten Tools und Frameworks für zukünftige Anforderungen.
- Implementierung von ELT-Prozessen von einem Oracle Data Warehouse und XML- und JSON-Logs zu einem Datalake in HDFS, Hive und HBase
- Überwachung der Leistung und Beratung zu erforderlichen Infrastrukturänderungen.
- DevOps

**Was erwarten wir von dir?**
- 5 Jahre Erfahrung als Data Engineer.
- Kenntnisse in Python und Pyspark.
- Erfahrung mit NoSQL-Datenbanken wie HBase, MongoDB, Elastic.
- Erfahrung mit der Integration von Daten aus mehreren Datenquellen: Oracle, MySQL.
- Erfahrung mit Spark, Dask in Clustern.

**Was