KBC Group NV
Software Engineer Python, Big Data & AI (BE)
NewOnsiteBE, BelgiumAI/MLInfrastructure
Our Take
Software Engineer in Big Data & AI at KBC Group NV designing cloud platforms, libraries, frameworks, and services.
What you’ll do
- Develop components for data pipelines on the big data platform on AWS
- Contribute to a product portfolio of data services and frameworks
- Develop and maintain a data processing library providing access to the data lake via various processing technologies
- Implement functionality to securely move data between AWS accounts or outside the platform
- Create a plug-in supporting data pipelines in compliance with GDPR requirements
- Develop solutions for data retention and automated cleaning of the data lake
- Implement data lineage functionality providing insight into data flows within the platform
- Develop metadata services enabling metadata-driven functionalities on the big data platform
What they’re looking for
- Software engineer in the team
- Design and develop libraries, frameworks, and services for big data processing on a cloud platform
Skills & Focus Areas
- Python
- Big Data
- AWS
- Data Pipelines
- GDPR
- Metadata Services
As posted by KBC Group NV
Als software engineer in ons team ontwerp en ontwikkel je libraries, frameworks en services die het verwerken van big data op een cloudplatform mogelijk maken.
Het data engineering team dat jij versterkt, ontwikkelt de bouwstenen voor data pipelines op ons big data-platform op AWS. Dit multitenant platform ondersteunt de digitale transformatie en AI-ambities van KBC, zowel in België als in andere landen van KBC Groep.
Je werkt mee aan een productportfolio van dataservices en frameworks waarmee data engineers en data scientists efficiënte, schaalbare en betrouwbare data pipelines bouwen – steeds volgens de best practices. Onze oplossingen ondersteunen op vandaag duizenden pipelines.
Samen met je collega's ontwikkel en onderhoud je onder meer:
- een dataverwerkingsbibliotheek die toegang biedt tot het data lake via verschillende verwerkingstechnologieën;
- functionaliteit om data veilig te verplaatsen tussen AWS-accounts of buiten het platform;
een plug-in die data pipelines ondersteunt in het voldoen aan de GDPR-vereisten; - oplossingen voor dataretentie en geautomatiseerde opschoning van het data lake;
- data lineage-functionaliteit die inzicht geeft in de datastromen binnen het platform;
- metadata-services die metadata-gedreven functionaliteiten op het big data-platform mogelijk maken;
- best practices voor de verwerking en de opslag van big data.