Data Engineer Databricks / Lakehouse (Karlsruhe)

1&1 gehört mit über 3.100 Mitarbeitenden und fast 16 Millionen Kundenverträgen zu den führenden Telekommunikationsanbietern in Deutschland. Mit Pioniergeist, ungewöhnlichen Ideen und kreativen Teams haben wir eine führende Marktstellung im Mobilfunk und bei Breitband-Anschlüssen erobert. Durch die Kombination des über 67.000 km langen 1&1 Glasfasernetzes und regionalen Netzen schaffen wir das weitreichendste Glasfasernetz Deutschlands. Außerdem bauen wir das modernste 5G-Netz Europas, auf der Basis der neuartigen Open-RAN-Technologie. Mit offenen Schnittstellen und 5G-Funktionen in einer leistungsfähigen Cloud-Infrastruktur. Schreiben Sie die 1&1 Erfolgsgeschichte fort, indem Sie durch Einsatz und Entwicklung innovativer Technologien, die Zukunft gestalten. Werden Sie Teil von 1&1.

Das sind Ihre Aufgaben

In dieser Rolle gestalten Sie aktiv die Transformation unserer Datenlandschaft hin zu einer modernen, skalierbaren Lakehouse-Architektur auf Databricks. Sie schaffen die Grundlage für datengetriebene Entscheidungen sowie innovative AI-Use-Cases.

• Design, Entwicklung und Betrieb moderner ETL-/ELT-Pipelines auf Basis von Python (z. B. PySpark) in Databricks
• Ablösung bestehender Data-Warehouse- und ETL-Strukturen (MS SQL Server, Stored Procedures, Automic) durch skalierbare Lakehouse-Architekturen
• Aufbau differenzierter Pipeline-Logiken zur Sicherstellung von Stabilität, SLA-Konformität und Auditierbarkeit
• Implementierung von Datenqualitätsprüfungen (Validierung, Reconciliation, Quality Checks)
• Sicherstellung der Datenkonsistenz während der Migration bestehender Systeme
• Umsetzung von Transformationen, Schema-Mappings und Metadaten-Anreicherung gemäß Zielarchitektur
• Optimierung von Datenpipelines hinsichtlich Performance, Kosten und Skalierbarkeit
• Nutzung moderner Databricks-Funktionalitäten (z. B. Delta Lake, Structured Streaming)
• Monitoring von Pipeline-Laufzeiten, Ressourcennutzung und Systemstabilität
• Enge Zusammenarbeit mit BI-, Analytics-, Architektur- und Entwicklungsteams sowie Fachbereichen
• Erstellung und Pflege technischer Dokumentation sowie Sicherstellung von Nachvollziehbarkeit und Governance

Das wünschen wir uns

• Abgeschlossenes Studium (z. B. Informatik, Data Engineering, Wirtschaftsinformatik oder vergleichbar)
• Mehrjährige Erfahrung (ca. 3–6 Jahre) im Data Engineering
• Sehr gute Python-Kenntnisse (insb. PySpark) sowie fundierte Erfahrung mit Apache Spark und idealerweise Databricks
• Starkes Verständnis von ETL-/ELT-Prozessen, Datenmodellierung und Pipeline-Orchestrierung
• Erfahrung mit Microsoft SQL Server sowie sehr gute SQL-Kenntnisse
• Analytische, strukturierte und lösungsorientierte Arbeitsweise
• Erfahrung mit Databricks Lakehouse, Delta Lake und Structured Streaming
• Kenntnisse in Orchestrierungstools (z. B. Airflow, Databricks Workflows)
• Verständnis von Data Governance, Compliance sowie Metadatenmanagement

Unsere Benefits

•    Attraktives Gehalt
•    Starke Gemeinschaft aus Teamplayern
•    Vertrauensarbeitszeit mit flexibler Einteilung und der Möglichkeit, bis zu 40% mobil zu arbeiten
•    Zahlreiche Weiterbildungsmöglichkeiten on- und offline
•    Rabatte auf 1&1 Produkte und für diverse Freizeitangebote
•    Betriebseigenes Restaurant
•    Kostenlose Getränke und frisches Obst
•    Jobrad-Zuschuss