Deine Aufgabe

Als Lead Data Engineer besteht deine Aufgabe darin, den gesamten Data-Engineering-Prozess zu managen und zu überwachen – von der Datenerfassung bis zur Datenanalyse. Du bist verantwortlich für das Design, den Aufbau und die Wartung der Dateninfrastruktur, die für ein effektives Datenmanagement und eine effektive Datenanalyse notwendig ist. Du arbeitest eng mit Data Scientists, Analysten und anderen Stakeholdern zusammen, um die Genauigkeit, Zuverlässigkeit und Zugänglichkeit von Daten sicherzustellen. Zu deiner Rolle gehört auch das Mentoring und die Führung eines Teams von Data Engineers, die Festlegung der technischen Ausrichtung und die Sicherstellung der erfolgreichen Umsetzung von Data-Engineering-Projekten.

Du wirst Teil eines neu gegründeten Teams, das an einer Greenfield-Datenplattform arbeitet und ein modernes Datenprodukt von Grund auf aufbaut. Das Team arbeitet am gleichen Standort, was eine starke Zusammenarbeit, schnelle Entscheidungsfindung und ein unterstützendes Umfeld ermöglicht. Du hast vom ersten Tag an echten Einfluss auf die Architektur und die Arbeitsweise. Das Projekt nutzt moderne GCP-Technologien wie Google BigQuery, Google Cloud Dataflow und Google Cloud Dataproc und bietet interessante technische Herausforderungen ohne Legacy-Einschränkungen.

Aufgaben

Design, Aufbau und Wartung skalierbarer Datenpipelines mit GCP-Services wie Google BigQuery, Google Cloud Dataflow, Google Cloud Storage und Google Cloud SQL
Entwicklung und Optimierung von ETL/ELT-Workflows zur effizienten Transformation und zum Laden großer Datensätze
Arbeit mit SQL und Python (einschließlich PySpark, Pandas und NumPy) zur Verarbeitung und Analyse von Daten
Aufbau und Wartung verteilter Datenverarbeitungslösungen unter Verwendung von Spark und Datenparallelisierungsprinzipien
Zusammenarbeit mit Data Scientists, Engineers und Stakeholdern, um Datenanforderungen zu verstehen und zuverlässige Lösungen zu liefern
Implementierung von Security-Best-Practices, einschließlich rollenbasierter Zugriffskontrolle, IAM-Richtlinien und Datenverschlüsselung
Überwachung, Fehlerbehebung und Optimierung der Systemleistung, Identifizierung von Engpässen und Verbesserung der Effizienz
Beitrag zur Datenarchitektur und zum Datenmodellierung (z.B. Stern- und Schneeflockenschemas) bei Bedarf
Unterstützung von Best Practices in Versionskontrolle und CI/CD-Pipelines (z.B. Git-basierte Workflows)
Mentoring und Anleitung von Junior Data Engineers, Bereitstellung von technischen und beruflichen Entwicklungsmöglichkeiten, um ihnen zu helfen, in ihrer Karriere zu wachsen