{"id":798,"date":"2017-10-11T08:00:22","date_gmt":"2017-10-11T12:00:22","guid":{"rendered":"http:\/\/consortechsite.wpengine.com\/?p=798"},"modified":"2020-03-13T13:49:43","modified_gmt":"2020-03-13T17:49:43","slug":"etl-trois-elements-cles-dun-projet-dautomatisation","status":"publish","type":"post","link":"https:\/\/www.consortech.com\/fr\/etl-trois-elements-cles-dun-projet-dautomatisation\/","title":{"rendered":"ETL: trois \u00e9l\u00e9ments cl\u00e9s d\u2019un projet d\u2019automatisation"},"content":{"rendered":"\t\t
\n\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t\t\t\tAccueil<\/a><\/span><\/span>\t\t\t\t\t<\/div> \n\t\t\t\t<\/div> \n\t\t\t<\/div> \n\t\t<\/div>\n\t\t

[et_pb_section bb_built=\u00a0\u00bb1″][et_pb_row][et_pb_column type=\u00a0\u00bb4_4″][et_pb_text _builder_version=\u00a0\u00bb3.0.90″ background_layout=\u00a0\u00bblight\u00a0\u00bb]<\/p>\n

En d\u00e9cidant de mettre sur pied un projet d\u2019automatisation ETL, vous souhaitez apporter des gains significatifs \u00e0 un ou plusieurs de vos processus de traitement de donn\u00e9es. Pour que le projet soit couronn\u00e9 de succ\u00e8s, une panoplie de sc\u00e9narios doivent \u00eatre envisag\u00e9s. Voici quelques pistes pour bien pr\u00e9parer votre projet.<\/p>\n

1.\u00a0VALIDER LA STRUCTURE DES DONN\u00c9ES<\/strong><\/h2>\n

Dans un projet ETL, on travaille normalement avec une source dont la structure ne change pas, mais on ne peut cependant pas le tenir pour acquis. Il faut donc s\u2019en assurer en v\u00e9rifiant le lot de donn\u00e9es avec un logiciel qui inspecte la structure en amont.<\/p>\n

Que ce soit le format de l\u2019information (noms et types de champs, noms des couches, composition des objets) ou le format des fichiers (nom et extension), il faut valider la structure, car la moindre diff\u00e9rence pourrait faire \u00e9chouer le processus.<\/p>\n

\u00c0 cette \u00e9tape, on recommande d\u2019\u00e9valuer et de documenter les sc\u00e9narios avec le plus d\u2019exhaustivit\u00e9 possible, car des d\u00e9cisions doivent \u00eatre prises si des \u00e9carts avec le format standard sont d\u00e9tect\u00e9s.<\/p>\n

2.\u00a0INSTAURER UN PROCESSUS DE VALIDATION<\/strong><\/h2>\n

Apr\u00e8s avoir examin\u00e9 le format, on doit maintenant regarder la nature de la donn\u00e9e et d\u00e9terminer quoi faire avec ce qui est erron\u00e9. Pour qu\u2019un processus ETL fonctionne ad\u00e9quatement, il faut attraper les erreurs de la source \u00e0 la destination.<\/p>\n

Il est tr\u00e8s important de d\u00e9tecter les anomalies et d\u2019avoir un processus clair sur la fa\u00e7on de g\u00e9rer les erreurs, car on ne peut pas simplement les ignorer. Il existe plusieurs fa\u00e7ons de traiter les donn\u00e9es invalides dont les plus usuelles sont la production de rapports et l\u2019envoi de notifications par courriel.<\/p>\n

Voici quelques questions \u00e0 se poser\u00a0pour que rien ne passe sous le radar:<\/p>\n