Entretien sur les défis éthiques et politiques posés par le développement de l'IA avec Jean-Marie John-Mathews, cofondateur de Giskard AI
Entretien « Data Leader » avec Jean-Marie John-Mathews, PhD, cofondateur et directeur scientifique de Giskard AI
Au début de sa carrière, Jean-Marie John-Mathews a occupé différents postes opérationnels liés à la science des données, mais Il s’est rapidement intéressé aux implications philosophiques et sociétales de l’utilisation de l’Intelligence Artificielle. C’est pourquoi il travaille aujourd’hui sur le développement d’une IA éthique “by design”.
Sa passion pour l'exploration théorique l'a amené à approfondir les impacts sociétaux de l'IA et ses enjeux éthiques à travers une thèse. Ses recherches portent sur la réduction des biais produits par les algorithmes d'IA, ainsi que sur leur explicabilité. L’explicabilité étant la capacité de mettre en relation et de rendre compréhensible les éléments pris en compte par le système d’IA pour produire un résultat.
Jean-Marie co-fonde Giskard AI en 2021. Cette plateforme holistique a été conçue pour garantir la qualité, la sécurité et la conformité. Reconnue par Gartner pour l’avancée technologique qu’elle représente dans l’industrie, Giskard AI rassemble des data scientists, des chercheurs en Machine Learning, des ingénieurs et des spécialistes du traitement éthique des données.
Pour Jean-Marie, l'IA et le Machine Learning (apprentissage automatique) remettent en question la manière dont on catégorise traditionnellement les populations et les contenus. Plutôt que de s’appuyer sur des critères comme l’âge, le sexe, l’ethnicité ou encore le statut socio-économique, les modèles d'IA utilisent désormais de grandes quantités de données comportementales pour alimenter les processus de prise de décision des entreprises. Or, Jean-Marie estime qu’il est nécessaire de réintroduire des catégories structurées pour aborder la question des biais et de la discrimination dans les algorithmes, ainsi que pour auditer les systèmes d’IA. Enfin, le champ exploratoire du chercheur intègre également les notions de rôles et responsabilités d’un point de vue légal, ainsi que le cadre réglementaire de l’IA.
Un parcours unique: un data scientist devenu chercheur en éthique de l’IA, puis entrepreneur.
La carrière de Jean-Marie John-Mathews est riche et singulière : après avoir débuté dans le secteur de l’industrie, il devient chercheur spécialisé dans les questions d’éthique liées à l’IA, avant de co-fonder en septembre 2021 Giskard AI, dont il est directeur scientifique.
La société propose une plateforme holistique pour garantir la sécurité, la qualité et la conformité des modèles de machine learning et les LLMs développés par les entreprises. Cette plateforme comprend une bibliothèque Python open-source pour identifier et contrôler automatiquement les risques à travers des métriques de performance, d’éthique et de sécurité; ainsi qu’un Centre de ressources permettant aux professionnels de l’IA d’accéder à des tableaux de bord, à des conseils de débuggages, ou encore à un support en direct.
Avant de fonder Giskard AI, Jean-Marie a été data scientist chez Thales et consultant en politique publique chez Citizing Consulting. En parallèle de ses activités business, il est aussi enseignant à Sciences Po, à l'Université Paris Dauphine-PSL ainsi qu’à l'aivancity School for Technology, Business & Society Paris-Cachan.Jean-Marie est diplômé de l'ENSAE Paris, de Sciences Po et de l'École d'Économie de Paris.
C’est lorsqu’il travaille chez Thales, tout en poursuivant une licence de philosophie en cours du soir, que Jean-Marie a commencé à travailler sur les enjeux éthiques induits par la mise en place de l’intelligence artificielle. Un intérêt particulier qui l’a mené à approfondir ses travaux dans le cadre d’un doctorat à l'Université Paris-Saclay. Ses recherches ont largement contribué aux débats publics sur l'éthique de l'IA puisqu’il a participé à de nombreuses grandes conférences et à des sessions de formation à destination de grandes administrations.
Il consacre aujourd’hui sa carrière à apporter toujours plus de transparence, de sécurité et de normes éthiques aux technologies d’IA, et à rapprocher la recherche universitaire du monde de l’entreprise.
“Mes recherches, fondées sur la sociologie pragmatique proche d’universitaires tels que Bruno Latour et Luc Boltanski, explorent l’impact de l’IA et du machine learning sur les catégorisations sociétales, sur la question de la discrimination et sur la politisation des débats.”
Pour en savoir plus sur ces sujets, visionnez l'entretien “Data Leader”.
Caroline Goulard, journaliste et CEO des entreprises Dataveyes et Modality, spécialisées dans la visualisation des données, interroge Jean-Marie John-Mathews quant aux défis éthiques et politiques posés par le développement de l'IA. Cet entretien de 45 minutes, enregistré dans le studio “The Bridge par Artefact”, explore plusieurs facettes du développement de l'IA, notamment :
Le rôle joué par les catégories dans l'IA ;
L’influence des catégorisations sur la société ;
L’impact de l’AI Act sur le concept de données personnelles et sur les responsabilités des organisations ;
La signification de la notion de « General Purpose AI System » ;
La nécessité actuelle de réintroduire des catégories dans l'IA.
Cette interview est disponible sur thebridge.artefact.com, YouTube et toutes les plateformes de podcast.
