Description
Sinds enkele jaren streeft het FAVV een volledig datagedreven organisatie te worden en vertrouwt voor haar rapportage en analyse op een centraal datawarehouse.
Gezien de snel evoluerende technologieën en bedrijfsbehoeften wil het FAVV dit platform nu moderniseren door dit platform te migreren naar de Microsoft Azure-cloud. Deze transitie gaat gepaard met de implementatie van nieuwe, krachtige tools, waaronder Microsoft Fabric (ETL) en Power BI.
Om ons te helpen met deze uitdaging zijn wij op zoek naar twee Data Engineer Microsoft Fabric
Missie :
- Ontwerpen en ontwikkelen van ETL flows in Microsoft Fabric (Dataflows Gen2, Notebooks PySpark, Pipelines) op Azure Cloud
- Instellen van gegevensmodellen georiënteerd naar BI naar de methodologie van Kimball / snowflake
- Ontwikkelen van feitentabellen, dimensies en aggregaten in het DataWarehouse met respect voor de prioriteiten en de planning
- Verzekeren van de kwaliteit, betrouwbaarheid, monitoring en prestaties van de kenmerken en de flows
- Beheren en bewaken van traceerbaarheid, waarschuwingen voor de flow en afwijzingsproblemen
- Automatiseren van de implementatiesmet CI/CD (Azure DevOps of GitHub)
- Werken in nauwe samenwerking met het team IC om de samenhang tussen systemen en oplossingen te verzekeren
- Verbinden met verschillende bronnen (Oracle, SQL Server, XML, Flat files, …), begrijpen van hun structuren en optimaliseren van extracties
- Respecteren van de gedefinieerde technische standaarden: : naamgeving, beveiliging, beheer, monitoring, CI/CD
- Respecteren van de guidelines en de interne procedures op zowel technisch als organisatorisch niveau
- Documenteren van de bewerkingen en de flows
Technische vaardigheden :
- Microsoft Fabric: Lakehouse, Dataflows Gen2, Pipelines, Warehouse
- Azure : Azure Data Lake, Azure Synapse (un plus)
- Databanken: uitstekende beheersing van Oracle en SQL Server (connectie, extractie, optimalisatie van selects)
- SQL: gevorderd niveau
- PySpark: verdeelde bewerkingen voor grote volumes van data
- DAX (noties)
- Concepten van datawarehouse
- Modellering Kimball: Star Schema & Snowflake, Slowly Changing Dimensions (SCD)
- ETL/ELT: goede praktijkkennis voor sequentiebepaling en monitoring
- CI/CD: Azure DevOps of GitHub Actions
- Beveiliging en beheer van de gegevens op Azure
- Kennis van de Sparx Enterprise Architect voor de documentatie is een pluspunt
- Kennis van Informatica Powercenter (of de wil om het te leren) is een plus
Gewenst profiel :
- Bachelor in Computer Science of gerlijkwaardige ervaring
- Minstens 5 jaar ervaring in Data Engineering, waarvan zeker 3 jaar in Fabric op Azure Cloud
- Goede beheersing van de methodologie Kimball voor BI
- Bewezen ervaring van Oracle en SQL Server databases
- Capaciteit om de prestaties te optimaliseren en de processen te documenteren
- Capaciteit om in een team te werken met respect v oor het bestuur en de interne procedures
- FR/NL met een goede passieve kennis van de andere taal (vereist)
Depuis plusieurs années, l’AFSCA s’efforce de devenir une organisation pleinement orientée données et s’appuie sur un entrepôt de données central pour la production de ses rapports et de ses analyses.
Dans un contexte d’évolution rapide des technologies et des besoins métier, l’AFSCA entame à présent la modernisation de cette plateforme en la migrant vers le cloud Microsoft Azure. Cette transition s’accompagne de l’adoption de nouveaux outils performants, notamment Microsoft Fabric (ETL) et Power BI.
Pour nous aider dans ce challenge nous recherchons deux Data Engineer Microsoft Fabric.
Mission :
- Concevoir et développer les flux ETL dans Microsoft Fabric (Dataflows Gen2, Notebooks PySpark, Pipelines) sur Azure Cloud
- Mettre en place des modèles de données orientés BI en suivant la méthodologie Kimball / snowflake
- Développer les tables de faits, dimensions et agrégats dans le DataWarehouse en respectant les priorités et le planning
- Assurer la qualité, la fiabilité, le monitoring et la performance des traitements et des flux
- Gérer le monitoring, la traçabilité, les alertes des flux et les rejets.
- Automatiser les déploiements avec CI/CD (Azure DevOps ou GitHub)
- Travailler en étroite collaboration avec l’équipe ICT pour assurer la cohérence des systèmes et des solutions
- Se connecter à différentes sources (Oracle, SQL Server, XML, Flat files, …), comprendre leur structure et optimiser les extractions
- Respecter les standards techniques définis : nommage, sécurité, gouvernance, monitoring, CI/CD
- Respecter les guidelines et les procédures internes tant au niveau technique qu’organisationnel
- Documenter les traitements et les flux
Compétences techniques :
- Microsoft Fabric: Lakehouse, Dataflows Gen2, Pipelines, Warehouse
- Azure : Azure Data Lake, Azure Synapse (un plus)
- Bases de données sources : excellente maîtrise d’Oracle et SQL Server (connexion, extraction, optimisation des requêtes)
- SQL : niveau avancé
- PySpark : traitements distribués pour gros volumes de données
- DAX (notions)
- Concepts de datawarehouse
- Modélisation Kimball : Star Schema & Snowflake, Slowly Changing Dimensions (SCD)
- ETL/ELT : bonnes pratiques de séquencement et de monitoring
- CI/CD : Azure DevOps ou GitHub Actions
- Sécurité et gouvernance des données sur Azure
- La connaissance de Sparx Enterprise Architect pour la documentation et la modélisation est un atout
- La connaissance d’Informatica Powercenter (ou la volonté de l’apprendre) est un plus
Profil recherché :
- Bachelor en Computer Science ou expérience équivalente
- Expérience de minimum 5 ans en Data Engineering, dont au moins 3 ans en Fabric sur Azure Cloud
- Maîtrise avérée de la méthodologie Kimball pour le BI
- Expérience confirmée avec des bases de données Oracle et SQL Server
- Capacité à optimiser les performances et à documenter les processus
- Capacité à travailler en équipe en respectant la gouvernance et les procédures internes
- FR/NL avec bonne connaissance passive de l’autre langue (obligatoire)
