Deine Aufgabe

Wir suchen einen Senior Data Engineer, der skalierbare Datenaufnahme- und CDC-Funktionen auf unserer Azure-basierten Lakehouse-Plattform aufbaut und betreibt. Diese Rolle umfasst die Entwicklung von Pipelines in Azure Data Factory und Databricks sowie die Weiterentwicklung unseres Engineering-Ansatzes durch professionelle Software-Engineering-Praktiken. Du wirst im Common Data Intelligence Hub arbeiten und mit Datenarchitekten, Analytics Engineers und Lösungsdesignern zusammenarbeiten, um robuste Datenprodukte und kontrollierte Datenflüsse im gesamten Unternehmen zu ermöglichen.

Platform Data Engineering & Delivery

Design und Entwicklung von Ingestion-Pipelines mit Azure- und Databricks-Diensten (ADF-Pipelines, Databricks-Notebooks/Jobs/Workflows)
Implementierung und Betrieb von CDC-Mustern (Einfügungen, Aktualisierungen, Löschungen), einschließlich Strategien für spät eintreffende Daten und Wiederverarbeitung
Strukturierung und Pflege von Bronze- und Silver-Delta-Lake-Datensätzen (Schema-Durchsetzung, Deduplizierung, Performance-Tuning)
"Transformationsfertige" Datensätze und Schnittstellen für Analytics Engineers und nachgelagerte Modellierung erstellen
Datenaufnahme mit einem Batch-First-Ansatz und Weiterentwicklung der Muster hin zu echtem Streaming, wo zukünftige Anwendungsfälle es erfordern

Software Engineering für Daten-Frameworks

Entwicklung und Wartung Python-basierter Ingestion/CDC-Komponenten als produktionsreife Software
Anwendung von Engineering-Best-Practices: Code-Reviews, Unit-/Integrationstests, statische Analyse, Formatierung/Linting, Type-Hints und klare Dokumentation
Einrichtung und Verbesserung von CI/CD-Pipelines für Data-Engineering-Code und Pipeline-Assets
Förderung der Wiederverwendung durch gemeinsame Bibliotheken, Vorlagen und Referenzimplementierungen; Reduzierung von "Einmal-Notebook"-Lösungen

Betrieb, Zuverlässigkeit & Beobachtbarkeit

Implementierung von Logging, Metriken, Tracing und Beobachtbarkeit von Datenpipelines
End-to-End-Fehlerbehebung bei verteilter Verarbeitung und Produktionsproblemen
Zusammenarbeit mit Lösungsdesignern bei ereignisbasierten Triggern und Orchestrierungs-Workflows; Beitrag zu betrieblichen Standards
Implementierung von Betriebs- und Sicherheitshygiene: sichere Handhabung von Geheimnissen, Zugriffsmuster mit minimalen Rechten und Unterstützung für Prüfbarkeit

Zusammenarbeit & Führung

Mentoring anderer Ingenieure und Förderung einheitlicher Engineering-Praktiken in allen Teams
Beitrag zur Data Engineering Community of Practice und Hilfe bei der Definition von Standards, Mustern und Leitplanken
Beitrag zu architektonischen Diskussionen (Layer-Semantik, Bereitschaftskriterien, Verträge und Governance)
Zusammenarbeit mit Architekten und Governance-Stakeholdern, um sicherzustellen, dass Datensätze die Governance-Anforderungen erfüllen, bevor sie in höhere Ebenen befördert werden