Accueil/Blogue /ETL : trois éléments clés d’un projet d’automatisation

ETL : trois éléments clés d’un projet d’automatisation

article-1-5-automation-600x332

1. Valider la structure des données

Dans un projet ETL, on travaille normalement avec une source dont la structure ne change pas, mais on ne peut cependant pas le tenir pour acquis. Il faut donc s’en assurer en vérifiant le lot de données avec un logiciel qui inspecte la structure en amont.

Que ce soit le format de l’information (noms et types de champs, noms des couches, composition des objets) ou le format des fichiers (nom et extension), il faut valider la structure, car la moindre différence pourrait faire échouer le processus.

À cette étape, on recommande d’évaluer et de documenter les scénarios avec le plus d’exhaustivité possible, car des décisions doivent être prises si des écarts avec le format standard sont détectés.

2. Instaurer un processus de validation

Après avoir examiné le format, on doit maintenant regarder la nature de la donnée et déterminer quoi faire avec ce qui est erroné. Pour qu’un processus ETL fonctionne adéquatement, il faut attraper les erreurs de la source à la destination.

Il est très important de détecter les anomalies et d’avoir un processus clair sur la façon de gérer les erreurs, car on ne peut pas simplement les ignorer. Il existe plusieurs façons de traiter les données invalides dont les plus usuelles sont la production de rapports et l’envoi de notifications par courriel.

Voici quelques questions à se poser pour que rien ne passe sous le radar :

  • Quels sont les champs les plus sujets à l’erreur?
  • Est-il possible de corriger automatiquement ces erreurs?
  • Sinon, comment l’utilisateur pourra-t-il le faire?
  • Comment documenter ce qui n'a pas été chargé?
  • Que faire en cas d’échec du chargement?

3. Considérer les autres besoins de l’entreprise

Plus un processus ETL est petit, plus il est rapide à mettre sur pied. Inversement, quand on veut le rendre générique et traiter plusieurs cas, on allonge le temps de développement. Ces efforts sont toutefois payants, car ils permettent de bénéficier d’un processus plus flexible et plus durable pour l’entreprise.

Lorsque le projet est pensé globalement, il peut être utile ailleurs dans l’organisation. Nous vous invitons donc à considérer l’ensemble de vos besoins lors de la mise sur pied d’un processus ETL. Évitez de travailler en vase clos et imaginez comment l’intelligence développée pourrait être réutilisée ailleurs. Vous pourriez ainsi générer des gains très intéressants dans d’autres départements.

Vous avez un projet ETL en tête? Voyez comment nous pouvons vous aider!

Lisez aussi : 4 choses à faire pour faciliter le lancement d'un projet FME.

icon-info-gros
Envie d'en savoir plus ?
Envoyer par courrielImprimer
AutodeskSafe SoftwareCodebook

Partenaires

Autodesk
Consortech
6300 Auteuil. Bureau 505
Brossard (Québec)
J4Z 3P2  Canada
Sans frais
1 888 276-0543
Suivez-nous sur LinkedIn
ConsortechGroupe d'intérêt ETLGroupe d'intérêt BâtimentGroupe d'intérêt Infra