Extrait court
Des contenus peuvent notamment avoir tendance à être biaisés par rapport à certaines idées, ce qui pourrait ensuite conduire à la discrimination de certaines personnes ou de certains groupes par rapport à d’autres.
Définition courte
Traitement inéquitable, défavorable ou exclusif d’individus ou de groupes (fondé sur le genre, l’origine, le statut socioéconomique, etc.) qui se trouve reproduit, systématisé ou amplifié de manière technologique par les algorithmes et les systèmes d’intelligence artificielle.
Définition longue
En contexte d’enseignement supérieur et dans la société en général, la discrimination algorithmique survient lorsque les systèmes d’intelligence artificielle (IA) reproduisent et exacerbent les inégalités systémiques et les préjugés historiques. Puisque ces systèmes, dont l’IA générative, s’entraînent à partir de données massives souvent issues d’Internet ou d’archives institutionnelles, ils intègrent consciemment ou inconsciemment les biais de la société (sexisme, racisme, capacitisme, colonialisme, etc.). Par conséquent, les algorithmes ont tendance à défavoriser les populations historiquement marginalisées, invisibilisées ou sous-représentées dans les données d’entraînement.
Dans les collèges et les universités, cette discrimination pose un risque majeur pour l’équité et l’inclusion. Elle peut se manifester par l’entremise d’outils d’évaluation automatique, d’algorithmes de prédiction pour l’admission ou la réussite, de logiciels de surveillance (comme la reconnaissance faciale qui performe de manière inégale selon la couleur de la peau ou le genre), ou encore par la génération de contenus pédagogiques stéréotypés. Pour contrer la discrimination, il est impératif d’adopter des politiques institutionnelles proactives, d’enseigner l’éthique du numérique pour aiguiser l’esprit critique, de diversifier les équipes de développement technologique, et d’assurer une supervision humaine constante afin de détecter et de corriger les préjudices.
Éléments clés
- Reproduction des inégalités : Les algorithmes reproduisent, systématisent et amplifient les préjugés humains et les discriminations historiques.
- Problème de données (Biais) : La discrimination découle très souvent de données d’entraînement incomplètes, biaisées ou non représentatives de la diversité sociale et culturelle.
- Impact disproportionné : Cible et nuit particulièrement aux groupes vulnérables ou marginalisés (femmes, minorités ethniques, peuples autochtones, personnes en situation de handicap, communautés LGBTQ+).
- Enjeux éducatifs et professionnels : Risque de perpétuer le profilage et l’exclusion dans les parcours académiques, les évaluations, le soutien aux apprenants ou les processus d’embauche.
- Nécessité de supervision : Exige des audits de tierce partie, une conception inclusive et une intervention humaine obligatoire pour pallier les défauts de la machine.
Sources d’inspiration
- Comité école et société (FNEEQ-CSN). (2023). Intelligence artificielle en éducation : De la mission à la démission sociale : replaçons l’humain au cœur de l’enseignement.
- Commission de l’éthique en science et en technologie (CEST) & Conseil supérieur de l’éducation (CSE). (2024). Intelligence artificielle générative en enseignement supérieur : enjeux pédagogiques et éthiques. Le Conseil; La Commission.
- Conseil de l’innovation du Québec (CIQ). (2024). Prêt pour l’IA : Répondre au défi du développement et du déploiement responsables de l’IA au Québec. Gouvernement du Québec.
- Mila – Institut québécois d’intelligence artificielle & Organisation des Nations Unies pour l’éducation, la science et la culture (UNESCO). (2024). Angles morts de la gouvernance de l’IA. UNESCO.
- Organisation des Nations Unies pour l’éducation, la science et la culture (UNESCO). (2021). IA et éducation : guide pour les décideurs politiques. UNESCO.