Loyauté et vigilance : de nouveaux principes pour les algorithmes de recommandation ?

25.01.2018

Droit public

La Commission nationale de l'informatique et des libertés (Cnil) dégage deux principes fondateurs pour une intelligence artificielle au service de l'homme : la loyauté et la vigilance.

La Loi pour une République numérique a confié à la CNIL la mission de réfléchir aux « problèmes éthiques et [aux] questions de société soulevés par l’évolution des technologies numériques ». A cette fin, la CNIL s’est saisie des implications du recours croissant aux algorithmes. Tous les secteurs socio-économiques sont concernés, y compris la santé, où les applications sont nombreuses : analyse de signaux physiologiques (par ex. électro-encéphalogramme) ou biologiques (par. ex. séquençage génétique), analyse d’images médicales, aide à la prescription (par ex. contre-indication), aide au diagnostic (par ex. traitement de contenus de bases de données médicales et recherche de profil similaire)…. Moins rodée que d’autres organismes (CCNE, OPECST, CNDP…) dans ce type d’exercice, la CNIL a opté pour une synthèse des résultats de plusieurs événements scientifiques réalisés avec son soutien entre janvier et octobre 2017. Publiée en décembre 2017, son rapport fait suite à d’autres travaux et publications sur les enjeux du numérique ou de l’intelligence artificielle (Conseil d’Etat, OPECST, Parlement européen, CNNum, France IA, CERNA…) et précède la publication des résultats de la mission confiée par le 1er ministre à Cédric Villani sur l’intelligence artificielle. Son positionnement est intéressant car il cible particulièrement les difficultés nées du déploiement d’algorithmes numériques de recommandation au fonctionnement plus ou moins opaque. Or de tels outils prêtent à discussion, ainsi que l’a montré le cas du logiciel Admission Post-Bac (APB).
Définitions, usages et risques
La synthèse fait d’abord œuvre pédagogique, dans un domaine encore mal connu. Pour mémoire, un algorithme peut désigner toute description d’une suite finie et non ambigüe d’étapes (ou d’instructions) permettant d’obtenir un résultat à partir d’éléments fournis en entrée. Or, les débats actuels ne portent que sur les algorithmes exprimés en langage informatique et qui œuvrent dans un programme, lui-même exécuté dans un logiciel ou compilé sous la forme d’une application. De plus, ce sont surtout les algorithmes de traitement de contenus qui sont discutés, et plus particulièrement les algorithmes de recommandation. Parmi ceux-ci, on peut distinguer les algorithmes « déterministes » et ceux de « machine learning ». Pour les premiers, la tâche que l’on souhaite automatiser est décomposée en instructions avec une succession d’étapes prévues et explicitées. Les seconds sont entraînés à partir d’exemples de ce que l’on se propose de leur faire accomplir et/ou de jeux de données, mais ils déterminent automatiquement les opérations à effectuer pour accomplir la tâche assignée. L’apprentissage automatique est dit « supervisé » lorsque les données d’entrées sont choisies comme des cas validés, et « non supervisé » lorsque les données sont fournies sans sélection ni vérification et que l’algorithme recherche seul des classifications et des régularités. Cette forme d’« intelligence artificielle » permet donc une évolution dans le temps (en fonction des données et de l’apprentissage automatique) ainsi qu’une forme d’autonomie du système par rapport à ses concepteurs.
 
Malgré leur diversité, la CNIL retient une approche globale des algorithmes informatiques de traitement de contenus. Selon la synthèse, « algorithmes déterministes et algorithmes apprenants soulèvent en effet des problèmes communs. Dans un cas comme dans l’autre, la finalité des applications de ces classes d’algorithmes consiste à automatiser des tâches autrement accomplies par des humains, voire à déléguer à ces systèmes automatisés des prises de décisions plus ou moins complexes. » Cette automatisation induit des risques de déshumanisation des décisions et de multiplication des atteintes à la vie privée, puisqu’un algorithme a besoin de beaucoup de données pour renforcer ses performances. Le problème majeur visé par la CNIL est une tendance excessive à faire confiance aux traitements algorithmiques, au point d’opérer une forme de délégation de pouvoir ou de compétence en se départissant de son sens critique vis-à-vis d’une machine « supposée neutre, impartiale, infaillible ». Il est pourtant nécessaire de prendre la mesure des biais et des erreurs qui peuvent être ainsi générés. Fonctionnant grâce à des jeux de données, l’algorithme favorise la reproduction de biais préexistants, voire les accroît en raison de son échelle de déploiement. Un traitement inégal ou attentatoire aux droits et aux libertés peut en résulter, de manière volontaire (lorsque les données sont consciemment biaisées) ou involontaire (lorsque les biais ne sont pas immédiatement perçus).
Un encadrement juridique existant mais limité
Pour lutter contre les usages inconsidérés des outils algorithmiques, la synthèse suggère de mobiliser toutes les formes de normativité et dresse un état des ressources du droit positif. Il existe déjà des règles pour encadrer l’utilisation des données personnelles à des fins de traitement automatisé (en matière de collecte et de conservation des données, et d’exercice par les personnes concernées de leurs droits : droit à l’information, droit d’opposition, droit d’accès, droit de rectification) dans un souci de protection de la vie privée et des libertés fondamentales (Loi française Informatique et Liberté, Règlement européen sur la protection des données personnelles).
 
De plus, il est déjà en principe interdit de fonder une décision individuelle ayant des conséquences juridiques sur le seul résultat d’un traitement automatisé de données. Enfin, des textes prévoient en faveur des personnes concernées un droit d’obtenir, auprès du responsable, des informations sur la logique de fonctionnement de l’algorithme. Le droit positif n’est donc pas désarmé. Toutefois, il présente des failles. D’abord, les principes sont accompagnés d’exceptions, lesquelles sont interprétées de plus en plus largement. Ensuite, le champ d’application des textes évoqués est restreint : ils ne concernent que les traitements de données personnelles ou les relations entre administrés et administrations. Or, de nombreux systèmes algorithmiques peuvent fonctionner avec des données anonymisées, dès lors qu’elles sont en quantité suffisante. Enfin, l’interdit des décisions individuelles automatisées ne concerne pas les outils « d’aide à la décision », alors même que le professionnel peut être tenté de suivre aveuglément la recommandation de l’algorithme.
Loyauté et vigilance : deux principes fondateurs
Afin de combler les manques évoqués, la synthèse suggère de s’appuyer sur les principes de loyauté et de vigilance. Le premier est ici défini différemment de son acception commune. Il s’agit, en effet, de l’utiliser de manière à ce que « l’algorithme dise ce qu’il fait et fasse ce qu’il dise », mais aussi de façon à limiter « la liberté que le responsable de l’algorithme a de déterminer les critères de fonctionnement de ce dernier ». S’appuyant sur l’étude du Conseil d’Etat parue en 2014 et relative aux plateformes numériques, la CNIL recommande, d’une part, qu’un contrôle soit opéré sur la pertinence des critères mis en œuvre, d’autre part qu’une information sur lesdits critères soit fournie. Ce ne serait alors plus, comme dans la Loi Informatique et Libertés, à la personne concernée d’exercer son droit d’information, mais au responsable du traitement algorithmique d’exécuter une obligation d’informer les utilisateurs. Dans cette acception élargie et exigeante, « un algorithme loyal ne devrait pas avoir pour effet de susciter, de reproduire ou de renforcer quelque discrimination que ce soit, fût-ce à l’insu de ses concepteurs ». Ainsi entendu, le principe de loyauté s’appuierait sur d’autres principes, notamment de responsabilité et d’intelligibilité, ce dernier étant préféré à la transparence (jugée inadéquate car la publication d’un code source laisserait la plupart des personnes dans l’incompréhension de la logique à l’œuvre et se heurterait dans certains cas à des secrets industriels). Quant au principe de vigilance, il viserait à répondre à un double défi : celui du « caractère mouvant et évolutif des algorithmes à l’heure du machine learning » et celui des incidences collectives de décisions dont la portée individuelle peut sembler anodine. Le droit positif manque actuellement de ressources pour protéger l’intérêt général ou le bien commun lorsqu’ils sont atteints par la systématisation de décisions motivées par l’intérêt individuel. Le sens et les implications de ce deuxième principe sont toutefois moins clairement exposés que ceux du principe de loyauté.
Des principes aux recommandations pratiques
Pour la mise en œuvre concrète de ces principes, la synthèse formule six recommandations. Certaines ne paraissent pas directement concerner le domaine juridique : besoin de formations pour les concepteurs, les utilisateurs et les destinataires des traitements algorithmiques (afin que les premiers prennent conscience des enjeux éthiques de leur travail et que les autres gagnent en esprit critique) ; appel à renforcer la recherche, notamment dans le domaine de la rétro-ingénierie (pour tester a posteriori le caractère discriminatoire d’un résultat et générer des explications sur les biais ou sur le fonctionnement global de l’algorithme). D’autres recommandations semblent plus ouvertes à une approche normative, même si le rôle éventuel de la réglementation n’y est pas explicité : promotion d’une conception des outils numériques propre à renforcer l’autonomie et la réflexivité des utilisateurs (par exemple par la visualisation de la logique globale) et renforcement des dispositifs en charge des questions éthiques dans les entreprises (ce qui pourrait passer par un élargissement du champ d’intervention de la RSE ou du déontologue). Les recommandations 2 et 4 donnent davantage matière à des innovations juridiques. Il en va ainsi de l’idée de créer une plateforme nationale d’audit des algorithmes pour contrôler leur conformité à la loi et au principe de loyauté, qui s’appuierait notamment sur des dispositifs existants (CNIL, Autorité des marchés financiers, Autorité de la concurrence…). De même, on retiendra l’appel à « rendre les systèmes algorithmiques compréhensibles en renforçant les droits existants », qui passerait par l’instauration d’une obligation légale, à la charge des responsables de systèmes algorithmiques, de communiquer de manière « claire et compréhensible des informations permettant de comprendre la logique de fonctionnement d’un algorithme ». Cette proposition se rapproche d’une généralisation des articles 4 et 6 de la Loi pour une République numérique, au-delà des relations entre l’administration et les citoyens.
La responsabilité au défi de l'autonomie des machines
Quant à la répartition des responsabilités, la CNIL ne néglige pas les défis posés par le machine learning, qui induit une autonomisation et une opacité accrue des processus de traitement des contenus. La synthèse insiste toutefois sur la nécessité de ne pas déresponsabiliser les différents acteurs de la « chaîne algorithmique » : « l’intervention humaine est bien présente dans le recours aux algorithmes, par l’intermédiaire du paramétrage de l’algorithme, du choix et de la pondération des critères et des catégories de données à prendre en compte pour arriver au résultat recherché ». La situation des algorithmes auto-apprenants non supervisés est certes plus complexe. Néanmoins, la « finalité […] reste définie par l’homme ».
Des propositions intéressantes malgré quelques imprécisions
Même si le document ne lève pas totalement le malaise suscité par l’opacité du deep learning, son approche paraît convaincante. On peut certes regretter que l’idée d’interdire le recours aux algorithmes les plus obscurs pour les usages les plus problématiques (aide à la décision judiciaire, aide au diagnostic…) ne soit que très brièvement évoquée. De même, on peut remarquer que certaines hypothèses discutables sont mentionnées (par ex. l’attribution de la personnalité juridique à des intelligences artificielles), tandis que d’autres plus sérieuses sont oubliées (une responsabilité répartie en fonction du profit économique tiré de l’exploitation). Néanmoins, la réflexion menée dans ces 75 pages ouvre de très intéressantes perspectives.
Sonia Desmoulin-Canselier, chargée de recherche CNRS, université de Nantes, Droit et Changement Social, associée à l'UMR Institut des Sciences Juridique et Philosophique de la Sorbonne

Droit public

Le droit public se définit comme la branche du droit s'intéressant au fonctionnement et à l’organisation de l’Etat (droit constitutionnel notamment), de l’administration (droit administratif), des personnes morales de droit public mais aussi, aux rapports entretenus entre ces derniers et les personnes privées.

Découvrir tous les contenus liés
Sonia Desmoulin-Canselier, chargée de recherche CNRS, université de Nantes, Droit et Changement Social, associée à l'UMR Institut des Sciences Juridique et Philosophique de la Sorbonne
Vous aimerez aussi

Nos engagements