Ethics and Trustworthiness of Algorithmic Decision-Making Systems
Loading...
Date
Journal Title
Journal ISSN
Volume Title
Publisher
Setif 1 University - Ferhat ABBAS , Faculty of Sciences
Abstract
The rapid adoption of artificial intelligence (AI) in high-stakes domains such as rec- ommender systems, healthcare, and disaster management has amplified the need for trustworthy systems. However, many AI models remain limited by opaque decision- making, biased or noisy data, and the lack of explicit mechanisms to model and quantify trust. This thesis addresses these limitations by integrating trust at three complementary levels—data, model, and prediction—through the combined use of knowledge graphs (KGs) and graph neural networks (GNNs).
At the data and model levels, the thesis introduces a taxonomy of trust dimensions, including accuracy, reliability, provenance, fairness, robustness, and explainability, and demonstrates how structured knowledge and graph-based learning enhance transparency and relational reasoning. Building on this foundation, the first major contribution is GUITARES, a trust-aware recommender system based on graph attention networks. GUITARES integrates item confidence derived from external knowledge graphs, inferred user–user trust relationships, and structural learning over user–item graphs. Experimental evaluation shows that GUITARES achieves an RMSE of 0.80, outperforming state-of-the- art baselines while maintaining scalability and robustness.
The second major contribution focuses on trust in predictions. The core framework, GraphSkinUQ, is proposed for skin cancer classification, combining CNN feature embed- dings, graph-based relational modeling, and uncertainty quantification to assess predictive confidence. GraphSkinUQ achieves 91% accuracy, with predictive uncertainty between 10% and 11%, a Brier score of 13%, an Expected Calibration Error (ECE) of 6%, and a ROC-AUC of 94%, demonstrating strong performance and well-calibrated confidence esti- mates. This predictive-trust framework is then extended to disaster management through the TDC-GCN model, which adapts the same principles—CNN features, graph convolu- tional learning, and Monte Carlo dropout—to disaster image classification. TDC-GCN achieves 97% accuracy with an entropy-based uncertainty measure of 30%, confirming its effectiveness in high-stakes scenarios.
Overall, results across recommendation, medical imaging, and disaster analysis demon- strate that embedding trust mechanisms—from structured data modeling to uncertainty- aware predictions—significantly improves both performance and reliability. This thesis contributes to the development of AI systems that are not only accurate, but also transpar- ent, robust, and trustworthy
Description
L’adoption rapide de l’intelligence artificielle (IA) dans des domaines à fort enjeu tels que les systèmes de recommandation, la santé et la gestion des catastrophes a renforcé le be- soin de systèmes fiables. Cependant, de nombreux modèles d’IA restent limités par des prises de décision opaques, des données biaisées ou bruyantes, et l’absence de mécanismes explicites pour modéliser et quantifier la confiance. Cette thèse traite ces limitations en in- tégrant la confiance à trois niveaux complémentaires — données, modèle et prédiction — grâce à l’utilisation combinée de graphes de connaissances (KGs) et de réseaux neuronaux graphiques (GNNs).
Au niveau des données et du modèle, la thèse propose une taxonomie des dimensions de la confiance, incluant la précision, la fiabilité, la provenance, l’équité, la robustesse et l’explicabilité, et montre comment la connaissance structurée et l’apprentissage basé sur les graphes améliorent la transparence et le raisonnement relationnel. Sur cette base, la première contribution majeure est GUITARES, un système de recommandation conscient de la confiance basé sur des réseaux d’attention graphique. GUITARES intègre la con- fiance des items dérivée de graphes de connaissances externes, les relations de confiance inférées entre utilisateurs et l’apprentissage structurel sur les graphes utilisateur--item. Les évaluations expérimentales montrent que GUITARES atteint un RMSE de 0,80, surpassant les références de l’état de l’art tout en conservant scalabilité et robustesse.
La deuxième contribution majeure se concentre sur la confiance dans les prédictions. Le cadre principal, GraphSkinUQ, est proposé pour la classification du cancer de la peau, combinant des embeddings CNN, une modélisation relationnelle basée sur les graphes et la quantification de l’incertitude pour évaluer la confiance des prédictions. GraphSkinUQ atteint une précision de 91%, avec une incertitude prédictive entre 10% et 11%, un Brier score de 13%, une Expected Calibration Error (ECE) de 6% et un ROC-AUC de 94%, démontrant de bonnes performances et des estimations de confiance calibrées. Ce cadre centré sur la confiance prédictive est ensuite étendu à la gestion des catastrophes via le modèle TDC-GCN, qui applique les mêmes principes — embeddings CNN, apprentissage par convolution graphique et Monte Carlo dropout — à la classification d’images de catas- trophes. TDC-GCN atteint une précision de 97% avec une mesure d’incertitude basée sur l’entropie de 30%, confirmant son efficacité dans des contextes critiques.
Dans l’ensemble, les résultats obtenus dans les domaines de la recommandation, de l’imagerie médicale et de la gestion des catastrophes montrent que l’intégration des mécan- ismes de confiance — de la modélisation structurée des données aux prédictions conscientes de l’incertitude — améliore significativement à la fois la performance et la fiabilité. Cette thèse contribue au développement de systèmes d’IA à la fois précis, transparents, robustes et dignes de confiance