Vers un nouveau cadre d’évaluation des systèmes d’apprentissage automatique : Application aux systèmes de recommandation

Abstract

Dans le contexte du Web actuel, les systèmes de recommandation sont devenus un moyen incontournable pour améliorer l’engagement des clients et augmenter les revenus des entreprises. Selon AQOA et McKinsey & Co, 35% des ventes d’Amazon et 95% des titres recommandés par Netflix proviens de leurs systèmes de recommandation. L’émergence rapide de ces systèmes de recommandation a créé le besoin de développer des cadres appropriés pour évaluer leurs performances et pertinences. Le contexte statique qui a entouré l’avènement de ces systèmes a favorisé la large utilisation d’un cadre hors-ligne qui omettent les propriétés réelles des données en flux sur les plateformes en production telle que Amazon et Netflix. Ceci mène à une évaluation artificielle et illogique qui rend les résultats d’évaluation indéterministes. Ainsi, les algorithmes les plus pertinents dans ce cadre ne sont pas toujours les meilleurs algorithmes à adopter dans les plateformes réelles. Dans ce mémoire, nous proposons un cadre d’évaluation des systèmes de recommandation qui conservent l’aspect réaliste des données en flux. Notre proposition est basée sur des techniques d’échantillonnage par fenêtre temporelle pour modéliser l’aspect dynamique des données. Par la suite, notre cadre suit une démarche de distribution de messages en flux pour simuler le plus fidèlement possible le scénario de recommandation en ligne. Nos expérimentations menées sur un jeu de données réel ont montré la différence entre les résultats d’évaluation sur un cadre statique hors ligne et en suivant les directives de notre proposition dynamique