Deine Aufgabe

Wir suchen einen Data Engineer, der unser Team in DBIZ verstärkt. Die Technik Value Stream Teams sind verantwortlich für Data Ingest auf One Data Entry (ODE), die Entwicklung der relevanten Datenprodukte auf ODE und den Betrieb der Datenprodukte auf ODE.

Aufgaben

Infrastruktur-Deployment & Management: Effizientes Deployment und Management von Infrastruktur auf der Google Cloud Platform (GCP), einschließlich Netzwerkarchitekturen (Shared VPC, Hub-and-Spoke), Sicherheitsimplementierungen (IAM, Secret Manager, Firewalls, Identity-Aware Proxy), DNS-Konfiguration, VPN und Load Balancing.
Datenverarbeitung & Transformation: Nutzung von Hadoop-Clustern mit Hive für Datenabfragen und PySpark für Datentransformationen. Implementierung von Job-Orchestrierung mit Airflow.
Management von GCP-Kerndiensten: Umfangreiche Arbeit mit Services wie Google Kubernetes Engine (GKE), Cloud Run, BigQuery, Compute Engine und Composer, alle verwaltet über Terraform.
Anwendungsimplementierung: Entwicklung und Implementierung von Python-Anwendungen für verschiedene GCP-Services.
CI/CD-Pipelines: Integration und Management von GitLab Magenta CI/CD-Pipelines zur Automatisierung von Cloud-Deployment, Testing und Konfiguration verschiedener Datenpipelines.
Sicherheit & Compliance: Implementierung umfassender Sicherheitsmaßnahmen, Verwaltung von IAM-Richtlinien, Secrets mit Secret Manager und Durchsetzung von Identity-Aware-Richtlinien.
Datenintegration: Handhabung der Integration von Datenquellen aus CDI, Datendrehscheibe (FTP-Server), TARDIS-APIs und Google Cloud Storage (GCS).
Multi-Environment-Deployment: Erstellung und Deployment von Workloads über Development (DEV)-, Testing (TEST)- und Production (PROD)-Umgebungen hinweg.
KI-Lösungen: Implementierung von KI-Lösungen mit Googles Vertex AI zum Aufbau und Deployment von Machine-Learning-Modellen.