Un Système OCR basé Apprentissage Profond pour la Reconnaissance des Vignettes de Médicaments

Abstract

Dans ce projet' nous avons mis au point un système de lecture de vignettes de médicaments à partir d'une image. Nous avons construit un modèle de reconnaissance de caractères de type OCR (optical Character Recognition, en anglais) basé sur l'apprentissage profond (deep leaning). L'approche adoptée se base sur I'utilisation d'un réseau de neurones convolutionnel (CNN, convotionnal Neuron Network) de fype DenseNet. Les modèles d'apprentissage profond pour la r€solution des problèmes OCR pour la lecture de caractères, de mots ou de phrases sont très prometteurs et possèdes des applications très diverses en vision par ordinateur. Notre modèle reconnait les caractères et chiffres contenus dans les différentes rubriques d'une vignette. L'algorithme cornmence, dans une première étape, par une détection des champs de la vignette, avec traitement géométrique si nécessaire (rotation et/ou transformation affine), suivie d'une sélection de la vignette selon son type (remboursable verte, ou non -rouge). une seconde étape consiste en une segmentation/extraction des lignes ou des champs (verticaux puis horizontaux) de la vignette. Ainsi, durant I'apprentissage, les caractères d'une ligne image extraite sont segmentés et appris au modèle. En alimentant notre réseau CNN, ligne par ligne, la lecture ou la reconnaissance de la vignette se fait caractère par caractère d travers chaque ligne prise séparément. Notre modèle de réseau profond Densenet appris sur peu de données image de vignette, environ 400, s'exécute en un temps acceptable avec des pararmètres d'apprentissage réduits (filtre, type pooling, période ou epoch, nombre couches, lot, algorithme optimiseur, ...). Les résultats expérimentaux obtenus ont montré que notre système OCR a une bonne performance de détection, segmentation et assure une classification efficace selon les 77 classes (caractères, chiffres et symboles) ainsi il reconnait les caractères de vignettes avec une précision d'environ 88%.