Description
Depuis plusieurs années, l’AFSCA s’efforce de devenir une organisation pleinement orientée données et s’appuie sur un entrepôt de données central pour la production de ses rapports et de ses analyses.
Dans un contexte d’évolution rapide des technologies et des besoins métier, l’AFSCA entame à présent la modernisation de cette plateforme en la migrant vers le cloud Microsoft Azure. Cette transition s’accompagne de l’adoption de nouveaux outils performants, notamment Microsoft Fabric (ETL) et Power BI.
Pour nous aider dans ce challenge nous recherchons un Data Engineer Microsoft Fabric.
Mission :
- Concevoir et mettre en place des modèles de données orientés BI en suivant la méthodologie Kimball / snowflake à partir des besoins business et exigences techniques.
- Développer les tables de faits, dimensions et agrégats dans le DataWarehouse en respectant les priorités et le planning.
- Développer les flux ETL dans Microsoft Fabric (Dataflows Gen2, Notebooks PySpark, Pipelines) sur Azure Cloud.
- Assurer la qualité, la fiabilité, le monitoring et la performance des traitements et des flux.
- Gérer le monitoring, la traçabilité, les alertes des flux et les rejets.
- Automatiser les déploiements avec CI/CD (Azure DevOps ou GitHub).
- Travailler en étroite collaboration avec l’équipe ICT pour assurer la cohérence des systèmes et des solutions.
- Se connecter à différentes sources (Oracle, SQL Server, XML, Flat files, …), comprendre leur structure et optimiser les extractions.
- Respecter les standards techniques définis : nommage, sécurité, gouvernance, monitoring, CI/CD.
- Respecter les guidelines et les procédures internes tant au niveau technique qu’organisationnel.
- Documenter les traitements et les flux.
Compétences techniques :
- Microsoft Fabric: Lakehouse, Dataflows Gen2, Pipelines, Warehouse
- Azure : Azure Data Lake, Azure Synapse (un plus)
- Bases de données sources : excellente maîtrise d’Oracle et SQL Server (connexion, extraction, optimisation des requêtes)
- SQL : niveau avancé
- PySpark : traitements distribués pour gros volumes de données
- Concepts de datawarehouse
- Modèles sémantiques en PowerBI
- DAX
- Modélisation Kimball : Star Schema & Snowflake, Slowly Changing Dimensions (SCD)
- ETL/ELT : bonnes pratiques de séquencement et de monitoring
- CI/CD : Azure DevOps ou GitHub Actions
- Sécurité et gouvernance des données sur Azure
- La connaissance de Sparx Enterprise Architect pour la documentation et la modélisation est un plus
- La connaissance d’Informatica Powercenter (ou la volonté de l’apprendre) est un plus
Profil recherché :
- Bachelor en Computer Science ou expérience équivalente
- Expérience de minimum 8 ans en Data Engineering, dont au moins 3 ans en Fabric sur Azure Cloud
- Maîtrise avérée de la méthodologie Kimball pour le BI
- Expérience confirmée avec des bases de données Oracle et SQL Server
- Expérience confirmée avec les modèles sémantiques PowerBI
- Capacité à optimiser les performances et à documenter les processus
- Capacité à travailler en équipe en respectant la gouvernance et les procédures internes
- FR/NL avec bonne connaissance passive de l’autre langue (FR/NL) (obligatoire)
Durée de la mission
La mission initiale est prévue pour une durée de 6 mois, avec une possibilité de prolongation moyennant
une évaluation positive.
Sinds enkele jaren streeft het FAVV een volledig datagedreven organisatie te worden en vertrouwt voor haar rapportage en analyse op een centraal datawarehouse.
Gezien de snel evoluerende technologieën en bedrijfsbehoeften wil het FAVV dit platform nu moderniseren door dit platform te migreren naar de Microsoft Azure-cloud. Deze transitie gaat gepaard met de implementatie van nieuwe, krachtige tools, waaronder Microsoft Fabric (ETL) en Power BI.
Om ons te helpen met deze uitdaging zijn wij op zoek naar meerdere Data Engineer Microsoft Fabric.
Missie:
- Ontwerpen en implementeren BI-georiënteerde datamodellen volgens de Kimball/snowflake-methodologie, gebaseerd op bedrijfsbehoeften en technische vereisten.
- Ontwikkelen van feitentabellen, dimensies en aggregaten in het DataWarehouse met respect voor de prioriteiten en de planning.
- Ontwerpen en ontwikkelen van ETL flows in Microsoft Fabric (Dataflows Gen2, Notebooks PySpark, Pipelines) op Azure Cloud.
- Verzekeren van de kwaliteit, betrouwbaarheid, monitoring en prestaties van de kenmerken en de flows.
- Beheren en bewaken van traceerbaarheid, waarschuwingen voor de flow en afwijzingsproblemen.
- Automatiseren van de implementatiesmet CI/CD (Azure DevOps of GitHub).
- Werken in nauwe samenwerking met het team IC om de samenhang tussen systemen en oplossingen te verzekeren.
- Verbinden met verschillende bronnen (Oracle, SQL Server, XML, Flat files, …), begrijpen van hun structuren en optimaliseren van extracties.
- Respecteren van de gedefinieerde technische standaarden: : naamgeving, beveiliging, beheer, monitoring, CI/CD.
- Respecteren van de guidelines en de interne procedures op zowel technisch als organisatorisch niveau.
- Documenteren van de bewerkingen en de flows.
Technische vaardigheden:
- Microsoft Fabric: Lakehouse, Dataflows Gen2, Pipelines, Warehouse
- Azure : Azure Data Lake, Azure Synapse (un plus)
- Databanken : uitstekende beheersing van Oracle en SQL Server (connectie, extractie, optimalisatie van selects)
- SQL : gevorderd niveau
- PySpark : verdeelde bewerkingen voor grote volumes van data
- Semantische modellen in PowerBI
- DAX (noties)
- Concepten van datawarehouse
- Modellering Kimball : Star Schema & Snowflake, Slowly Changing Dimensions (SCD)
- ETL/ELT : goede praktijkkennis voor sequentiebepaling en monitoring
- CI/CD : Azure DevOps of GitHub Actions
- Beveiliging en beheer van de gegevens op Azure
- Kennis van de Sparx Enterprise Architect voor de documentatie is een plus
- Kennis van Informatica Powercenter (of de wil om het te leren) is een pluspunt
Gewenst profiel:
- Bachelor in Computer Science of gerlijkwaardige ervaring
- Minstens 8 jaar ervaring in Data Engineering, waarvan tenminste 3 jaar in Fabric op Azure Cloud
- Goede beheersing van de methodologie Kimball voor BI
- Bewezen ervaring van Oracle en SQL Server databases
- Bewezen ervaring met semantische modellen in Power BI
- Capaciteit om de prestaties te optimaliseren en de processen te documenteren
- Capaciteit om in een team te werken met respect v oor het bestuur en de interne procedures
- FR/NL met een goede passieve kennis van de andere taal (vereist)
Duur van de opdracht
De initiële opdracht van 6 maanden, met de mogelijkheid tot verlenging, mits een positieve evaluatie.

