Le référentiel des entreprises du SPW s’inscrit dans la volonté de faire évoluer l’administration vers une approche plus orientée usager et orientée donnée. Il répond à une situation actuelle marquée par la dispersion, la duplication et l’hétérogénéité des données relatives aux entreprises dans de nombreuses applications métiers. Cette fragmentation nuit à la qualité des données, à leur réutilisation, à la cohérence des démarches administratives et à la capacité d’analyse transversale du SPW. Le référentiel vise dès lors à constituer une source de référence commune, progressivement alimentée par les sources fédérales et wallonnes, afin de consolider l’identification des entreprises, réduire la charge administrative, améliorer la qualité des données et soutenir le principe « Only Once ».

Le référentiel des entreprises constitue la source unique d’identification des entreprises au sein du Service Public de Wallonie. Son intégration dans l’environnement applicatif et data du SPW se fera progressivement, selon un timing de roll-out établi.

Par groupes, les différentes sources de données gérant des données relatives aux entreprises seront connectées au référentiel. Cette connexion sera à double sens :

• Alimentation du référentiel : Identifiant, données relatives aux démarches identifiées et requises par le référentiel
• Alimentation par le référentiel : identifiant BCE + identifiant SPW, données d’identification, caractérisation, typologie d’activités, mandataires…, données complémentaires (BCE, dossiers identifiés auprès d’autres sources…

Dans ce contexte, le Data engineer sera responsable de la définition des processus d’intégration, de contrôle qualité, de détection et de suivi d’incohérences du référentiel des entreprises.

• Conception, en collaboration avec l’ensemble des équipes du SPW Digital,

• • Des processus d’alimentation et de contrôle qualité du référentiel
  • Des mécanismes de suivi d’incohérences et de nettoyage des données
  • De monitoring des processus

• Implémentation de ces processus, testing, mise en œuvre

Il sera intégré à une équipe comportant un chef de projet, un coordinateur technique et un analyste. L’équipe fera partie intégrante de la direction de la Gestion et Valorisation de la donnée (DGVD).

• DataLift : Outil développé par la DGVD permettant le partage de données : lecture des données sources, documentation, modélisation, contrôle qualité et transformation des modèles.

Le référentiel des entreprises du SPW a pour objectif de devenir la source transversale de référence pour l’identification et la connaissance des entreprises, en consolidant les données dispersées dans les applications, en améliorant leur qualité, en harmonisant les définitions, en réduisant les redondances et en permettant une réutilisation maîtrisée des données au bénéfice des métiers, des usagers et du pilotage public.

Définir les processus d’intégration, d’analyse et de contrôle qualité, de détection et de suivi des incohérences et de nettoyage des données pour le référentiel des entreprises.

Le Data Engineer est responsable de la conception, de la mise en œuvre et de l’amélioration continue des processus permettant d’alimenter, de contrôler, de fiabiliser et de maintenir la qualité des données du Référentiel des Entreprises. Il assure l’intégration cohérente des données provenant de multiples sources internes et externes, met en place les mécanismes de détection des anomalies et garantit la disponibilité de données fiables, complètes et réutilisables pour l’ensemble des applications et processus du SPW.

Cette mission s’inscrit dans une logique de « quality by design », où la qualité des données est intégrée dès les phases d’ingestion, d’intégration et d’exploitation du référentiel.

Dans ce cadre, il assurera notamment les missions suivantes :

1. Définition et mise en œuvre de la consolidation et de la gestion des données de référence

Le Data Engineer apporte son expertise pour définir, concevoir et mettre en œuvre

• Les mécanismes assurant la génération et la gestion de l’identifiant unique du SPW ;
• Les mécanismes de déduplication des entreprises ;
• Les règles de consolidation et de priorisation entre sources
• Les mécanismes de gestion des conflits de données.

Il collabore avec le Centre de Service Virtualisation des Données et la DGVD pour garantir la cohérence de la vue consolidée des entreprises mise à disposition des applications.

2. Définition et mise en œuvre des processus d’intégration des données

Le Data Engineer apporte son expertise pour

• Concevoir et maintenir, sur base de la plate-forme FME, les chaînes d’alimentation du référentiel à partir des sources de données et des applications contributrices, en étroite collaboration avec la DGVD et le CS VD et en assurant le respect des standards en matière de partage et d’échange de données.
• Définir, sur base de la plate-forme FME, les règles de transformation, de normalisation et de consolidation des données.
• Mettre en œuvre les connecteurs et flux d’intégration nécessaires à l’alimentation et à la diffusion des données du référentiel.
• Garantir la traçabilité complète des échanges de données et le respect des standards d’architecture du SPW.

3. Définition des contrôles qualité et des règles de validation

En liaison avec l’équipe de la Direction de la Gestion et Valorisation des données, il définit les contrôles de qualité applicables aux données lors de leur intégration dans le référentiel. Pour ce faire, il se base sur les outils FME mais également sur le DataLift développé au sein de la direction de la Gestion et Valorisation des Données. Il veille à définir notamment les contrôles de qualité préalables à l’intégration des données dans le référentiel en termes de :

• validation des formats ;
• contrôles de complétude ;
• contrôles de cohérence temporelle ;
• validation croisée entre plusieurs sources ;
• contrôles d’unicité.

Il veille à automatiser l’exécution de ces contrôles lors de l’ingestion et sur les données déjà présentes dans le référentiel et à prévoir les outils permettant au futur gestionnaire du référentiel des entreprises de faire évoluer les règles de validation en fonction des nouveaux besoins métiers et des évolutions réglementaires.

4. Détection et suivi des incohérences

Le Data Engineer apporte son expertise pour :

• Concevoir les mécanismes de détection des anomalies et incohérences et d’alertes au sein du référentiel :

• • • doublons ;
    • valeurs aberrantes ;
    • incohérences entre systèmes ;
    • divergences entre sources de données ;

• Contribuer à la définition des indicateurs de qualité et des tableaux de bord de suivi.
• Concevoir les services permettant la production de rapports identifiant les problèmes récurrents et d’en mesurer l’évolution.
• Contribuer à la définition d’une classification des anomalies selon leur criticité afin de prioriser les actions correctrices.

5. Nettoyage et remédiation des données

Développer les processus de nettoyage automatisé des données :

• standardisation ;
• normalisation ;
• déduplication ;
• enrichissement ;
• correction des erreurs détectées.

Concevoir les mécanismes et processus permettant

• D’identifier les causes racines des défauts de qualité.
• De favoriser la correction des anomalies à la source conformément aux principes de gouvernance du référentiel.

6. Monitoring et amélioration continue

Mettre en place un dispositif permanent de surveillance de la qualité des données.

Mesurer les principaux indicateurs de qualité :

• exactitude ;
• complétude ;
• cohérence ;
• unicité ;
• fraîcheur ;
• conformité.

Analyser les tendances et proposer des améliorations techniques ou organisationnelles.

7. Contribuer à l’exploitation opérationnelle du référentiel

Durant la phase de construction et de raccordement progressif du référentiel aux sources de données du SPW, le Data Engineer

• Assiste les équipes du SPW Digital à la résolution des incidents techniques liés aux données
• Documente les processus et outils pour garantir la maintenance évolutive et la reprise des dispositifs de gestion du référentiel par les équipes du SPW Digital ;

8. Coordonner techniquement le raccordement progressif des applications au référentiel des entreprises.

Le Data Engineer apporte son expertise afin de

• Analyser les impacts techniques et fonctionnels de chaque raccordement
• Contribuer à la définition des scénarios de tests fonctionnels et techniques et les campagnes de tests d’intégration.

Voir ci avant.