Contrôle aléatoire versus exhaustivité
Dans de nombreuses professions, les contrôles sur pièces sont effectués uniquement sur un échantillon de ces pièces choisi de manière aléatoire.
Il est admis que lorsqu’un auditeur doit réviser un très grand nombre de contrats ou de factures ou qu’un analyste doit étudier une importante masse de documents, il ne puisse contrôler qu’une fraction de ceux-ci pour peu qu’ils soient choisis aléatoirement. En effet, le traitement de la totalité des documents est encore considéré aujourd’hui, comme humainement impossible ou simplement beaucoup trop coûteux.
Dans le même temps, la société condamne de plus en plus sévèrement les erreurs de contrôle ou de diagnostic. Aujourd’hui, une phrase non relevée dans un contrat ou une information manquée dans un document peuvent avoir des conséquences considérables.
Chez Kairntech, nous avons été confrontés dernièrement à cette question de l’exhaustivité deux fois de suite et cela dans deux domaines totalement différents :
- L’industrie des sciences de la vie
- L’audit
Le cas de l’industrie des sciences de la vie
Aujourd’hui, dans l’industrie des sciences de la vie, toute entreprise pharmaceutique doit prouver, entre autres, que dans tout pays où un de ses médicaments est autorisé à la vente, ce dernier n’a été l’objet d’aucun signalement d’un quelconque effet secondaire sur un patient.
Pour se conformer à cette obligation, ces entreprises doivent surveiller certaines bases de données spécifiques mais aussi tous les journaux locaux (littérature locale) spécialisés dans le domaine pharmaceutique.
Les bonnes pratiques sont contrôlées par les agences médicales nationales en coordination, dans le cas de l’Europe, avec des organisations supranationales comme l’Agence européenne des médicaments (EMA).
Il est facile de comprendre que si un effet secondaire n’est pas connu immédiatement, les conséquences peuvent être désastreuses pour de nombreux patients.
Les professionnels doivent faire de leur mieux pour surveiller la littérature locale, les réseaux sociaux… afin de montrer leur bonne foi mais le champ d’application n’est pas clairement défini car là encore, il est toujours considéré comme impossible de tout lire.
Le cas de la pratique de l’audit
Actuellement, les auditeurs ont deux rôles principaux étroitement liés :
- Ils doivent confirmer que les états financiers d’une entreprise sont sincères ce qui signifie qu’ils en donnent une image correcte de cette entreprise ;
- Ils peuvent également auditer une entreprise pour un tiers dans le cas d’une acquisition ou d’un contentieux. L’objectif global de l’audit est de confirmer, infirmer ou négocier le prix d’acquisition donné par l’acheteur ou le montant du préjudice subi dans le cas d’un contentieux.
Pour l’activité d’audit, nous avons à nouveau des organisations professionnelles qui ont défini des bonnes pratiques qui sont souvent contrôlées par des organisations professionnelles supra-nationales et parfois des organisations gouvernementales comme en France.
Il est courant dans cette profession de procéder à des contrôles aléatoires en raison du nombre considérable d’opérations existantes dans toute entreprise même moyenne, sans parler des grandes entreprises.
Les contrôles peuvent être déjoués…
Ce qui est intéressant, c’est que les deux domaines ont été frappés par des scandales qui montrent que les contrôles peuvent être déjoués.
- Manque de contrôle pour Enron aux USA, Parmalat en Italie, Wirecard en Allemagne, le Crédit Lyonnais ou la Société Générale en France ;
- Fraude dans le domaine de la santé avec l’épidémie d’opioïdes aux Etats-Unis, l’affaire Servier en France, l’épidémie de thalidomide il y a cinquante ans en Allemagne.
Les progrès récents en Traitement Automatique des Langues changent la donne
La bonne nouvelle est que la technologie, et en particulier la technologie du Traitement Automatique des Langues (TAL), est en train de changer la donne, notamment en automatisant le traitement de grandes quantités de documents (de l’extraction à la classification et à la détection de mots, de phrases ou de paragraphes).
Et ce n’est pas seulement la technologie elle-même, mais aussi la manière dont elle est appliquée.
Traditionnellement, il a toujours été particulièrement laborieux d’annoter les documents afin de créer le jeu de données sur lequel un modèle entraîné produit des résultats fiables.
Les progrès récents en matière d’outils d’annotation offrent des outils combinant des interfaces intuitives, des techniques d’apprentissage actif pour accélérer les annotations, une expérimentation simple de modèles pour permettre de créer des pipelines d’annotation prêts à être industrialisés.
En d’autres termes, la technologie permet désormais d’analyser tous les documents pertinents et peut être facilement utilisée par tout auditeur n’ayant aucune compétence en programmation ou en linguistique.
Conclusion
Il n’est pas certain que les progrès récents de la technologie et surtout du TAL soient connus des autorités de contrôle, qu’elles soient professionnelles ou gouvernementales. Principalement parce qu’ils sont extrêmement récents.
Les contrôles aléatoires sont toujours acceptés pour les audits, tandis qu’un examen exhaustif de la littérature locale ou des réseaux sociaux n’est pas exigé par la FDA ou l’EMA.
Un jour, nous pouvons parier qu’un client privé l’exigera pour sa prochaine acquisition ou lors d’un contentieux important, car les conséquences d’une analyse incomplète pourraient être très coûteuses pour lui.
Il est peu probable que les citoyens influencent les agences de médicaments comme la FDA ou l’EMA, mais les hommes politiques devraient les inciter à prendre en compte les progrès de la technologie afin de réduire les risques pour la santé publique.
Tôt ou tard, les auditeurs, les analystes, les experts… pourront consacrer leur temps uniquement à l’analyse d’informations ou de données qui auront été obtenues automatiquement par des machines qui auront parcouru la totalité des documents à analyser et en auront extrait les informations clés. Une telle analyse exhaustive devrait permettre de réduire le risque d’erreurs à un niveau proche de zéro.
Chez Kairntech, nous pensons que l’exhaustivité aura aussi un impact profond sur l’ensemble de l’industrie, bien au-delà des deux cas d’utilisation mentionnés dans cet article.