En décidant de mettre sur pied un projet d’automatisation ETL, vous souhaitez apporter des gains significatifs à un ou plusieurs de vos processus de traitement de données. Pour que le projet soit couronné de succès, une panoplie de scénarios doivent être envisagés. Voici quelques pistes pour bien préparer votre projet.
1. VALIDER LA STRUCTURE DES DONNÉES
Dans un projet ETL, on travaille normalement avec une source dont la structure ne change pas, mais on ne peut cependant pas le tenir pour acquis. Il faut donc s’en assurer en vérifiant le lot de données avec un logiciel qui inspecte la structure en amont.
Que ce soit le format de l’information (noms et types de champs, noms des couches, composition des objets) ou le format des fichiers (nom et extension), il faut valider la structure, car la moindre différence pourrait faire échouer le processus.
À cette étape, on recommande d’évaluer et de documenter les scénarios avec le plus d’exhaustivité possible, car des décisions doivent être prises si des écarts avec le format standard sont détectés.
2. INSTAURER UN PROCESSUS DE VALIDATION
Après avoir examiné le format, on doit maintenant regarder la nature de la donnée et déterminer quoi faire avec ce qui est erroné. Pour qu’un processus ETL fonctionne adéquatement, il faut attraper les erreurs de la source à la destination.
Il est très important de détecter les anomalies et d’avoir un processus clair sur la façon de gérer les erreurs, car on ne peut pas simplement les ignorer. Il existe plusieurs façons de traiter les données invalides dont les plus usuelles sont la production de rapports et l’envoi de notifications par courriel.
Voici quelques questions à se poser pour que rien ne passe sous le radar:
- Quels sont les champs les plus sujets à l’erreur?
- Est-il possible de corriger automatiquement ces erreurs?
- Sinon, comment l’utilisateur pourra-t-il le faire?
- Comment documenter ce qui n’a pas été chargé?
- Que faire en cas d’échec du chargement?
3. CONSIDÉRER LES AUTRES BESOINS DE L’ENTREPRISE
Plus un processus ETL est petit, plus il est rapide à mettre sur pied. Inversement, quand on veut le rendre générique et traiter plusieurs cas, on allonge le temps de développement. Ces efforts sont toutefois payants, car ils permettent de bénéficier d’un processus plus flexible et plus durable pour l’entreprise.
Lorsque le projet est pensé globalement, il peut être utile ailleurs dans l’organisation. Nous vous invitons donc à considérer l’ensemble de vos besoins lors de la mise sur pied d’un processus ETL. Évitez de travailler en vase clos et imaginez comment l’intelligence développée pourrait être réutilisée ailleurs. Vous pourriez ainsi générer des gains très intéressants dans d’autres départements.
Vous avez un projet ETL en tête? Voyez comment nous pouvons vous aider!
Lisez aussi: 4 choses à faire pour faciliter le lancement d’un projet FME.