Senior Expert Data Engineering (m/w) (Köln) › OBI next
Mit „OBI next“ am Standort Köln hat OBI als Nr. 1 unter den Bau- und Heimwerkermärkten eine innovative Geschäftseinheit gegründet und mit einer wichtigen Mission ausgestattet: die Transformation in ein neues, kundenzentrisches sowie kanalübergreifendes Geschäftsmodell. Dafür bietet OBI next ein einmaliges Arbeitsumfeld, in dem die Stärke eines Großkonzerns mit der Agilität und dem Spirit eines Startups kombiniert wird.
Du gestaltest und regelst die Datenströme auf unserer Customer Experience & Analytics Plattform. Hierfür arbeitest Du eng mit den Entwicklern und Data Scientisten zusammen. Ziel ist es eine Data Pipeline aufzubauen, die real-time Events sowie Batchdaten robust und skalierbar verarbeiten kann. Dafür stehen Dir moderne Frameworks aus dem Apache-Universum sowie cloud-native Tools zur Verfügung.
Deine Aufgaben
- Entwicklung und Betreuung einer idempotenten, robusten und hoch-skalierbaren event-basierten Data Pipeline, die zentraler Bestandteil unserer Customer Experience & Analytics Plattform ist
- Schaffung einer konsistenten Datenbasis in enger Abstimmung mit unseren Data Scientisten und Product Ownern, um eine datengetriebene Weiterentwicklung unserer Produkte sicherzustellen und komplexe Datenprodukte in Produktion bringen zu können
- Deployment und Monitoring der Data Pipeline in der Cloud (z.B. AWS, Google Cloud oder Microsoft Azure)
- Validierung der Daten und Sicherstellung der Vollstandigkeit und Korrektheit unserer Analysen
Dein Profil
- Erfahrungen in der Entwicklung und Betreuung einer event-basierten Data Pipeline in Produktion
- Sehr gute Programmierfahigkeiten in Python
- Sehr gute Kenntnis von Tools zur Erstellung und Wartung robuster Data Pipelines (Apache Kafka, AWS Kinesis, Apache Airflow, Apache Nifi, Azure Data Factory)
- Hohes Interesse an modernen Tools und Framework wie Apache Airflow, Apache Parquet, Spark und Druid
- Erfahrungen mit verschiedenen Technologien zur Datenhaltung (NoSQL, AWS S3, PostgreSQL) sind wünschenswert und Kenntnisse von Node.js sind ein Plus