Les graphes sous Spark/Graphx: Algorithmes et Implémentation

Abstract

De nos jours, l'utilisation de graphes afait I'objet de nombreux travaux Les gaphes sont largement utilisés pour la modélisation de plusieurs types de réseaux comme les réseaux sociaux, les réseaux pair-à-pair, le Web...etc. Particulièrement, I'analyse de gaphes constitue un défi majeur dans le contexte de trés grands volumes de données. Avec la prédominance de I'informatique et des réseaux et l'explosion quantitative des données numériques,, le domaine d'analyse de graphes reçoit une attention significative de la communauté industrielle et académique. En raison de la croissance de la taille des graphes d'entrée, les alprithmes de graphe traditionnels ne peuvent etre utilisés efficacement. Cela siglifie qu'il ya un besoin réel pourdes algorithmes qui peuvent etre facilement parallélisés. De ce fait, plusieurs approches efficaces de traitement parallèle et de passage à l'échelle pour l'analyse de graphes ont été développées, surtout avec la haute disponibilité des environnements de Cloud Computing. Durant ces dernières années, des nouveaux paradigmes de traitement parallèle des larges graphes ont été propose, tels que Pregel de Google et son implémentation open source Giraph, Graphlab et GraphX. Ce dernier, est l'un des paradigmes de traitement parallèle de graphes qui ont prouvés leurs performances et leur efficacité, en présantant une nouvelle abstraction de traitement de Big Graph' L'objectif de ce travail est de répondre à un problème d'analyse de graphes en adaptant et implémentant un algorithme de graphe séquentiel dans un environnement parallèle Spark GraphX. pour ce faire, nous avons choisi l'algorithme de Bron-Kerbosh, I'un des algorithmes les plus utilisés dans la littérature pour l'énumération des cliques maximales, et un algorithme glouton d'énumération de la clique maximum. les algorithmes choisis sont implémentés, testes et comparés sous GraphX. Les resultats obtenus montrent que les algorithmes parallèles proposés sont scalables et permettent l'énumération parallèle des cliques maximales et maximums de manière efficace. Mots clés : Cloud Computing, Big Data, Big Graph, Spark GraphX, Scala, Clique Maximale, Clique Maximum.