Analyse d'images par méthode de Deep Learning appliquée au contexte routier en conditions météorologiques dégradées - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2020

Image analysis using Deep Learning method applied to road context in degraded weather conditions

Analyse d'images par méthode de Deep Learning appliquée au contexte routier en conditions météorologiques dégradées

Khouloud Dahmane
  • Fonction : Auteur

Résumé

Nowadays, vision systems are becoming more and more used in the road context. They ensure safety and facilitate mobility. These vision systems are generally affected by the degradation of weather conditions, like heavy fog or strong rain, phenomena limiting the visibility and thus reducing the quality of the images. In order to optimize the performance of the vision systems, it is necessary to have a reliable detection system for these adverse weather conditions.There are meteorological sensors dedicated to physical measurement, but they are expensive. Since cameras are already installed on the road, they can simultaneously perform two functions: image acquisition for surveillance applications and physical measurement of weather conditions instead of dedicated sensors. Following the great success of convolutional neural networks (CNN) in classification and image recognition, we used a deep learning method to study the problem of meteorological classification. The objective of our study is to first seek to develop a classifier of time, which discriminates between "normal" conditions, fog and rain. In a second step, once the class is known, we seek to develop a model for measuring meteorological visibility.The use of CNN requires the use of train and test databases. For this, two databases were used, "Cerema-AWP database" (https://ceremadlcfmds.wixsite.com/cerema-databases), and the "Cerema-AWH database", which has been acquired since 2017 on the Fageole site on the highway A75. Each image of the two bases is labeled automatically thanks to meteorological data collected on the site to characterize various levels of precipitation for rain and fog.The Cerema-AWH base, which was set up as part of our work, contains 5 sub-bases: normal day conditions, heavy fog, light fog, heavy rain and light rain. Rainfall intensities range from 0 mm/h to 70mm/h and fog weather visibilities range from 50m to 1800m. Among the known neural networks that have demonstrated their performance in the field of recognition and classification, we can cite LeNet, ResNet-152, Inception-v4 and DenseNet-121. We have applied these networks in our adverse weather classification system. We start by the study of the use of convolutional neural networks. The nature of the input data and the optimal hyper-parameters that must be used to achieve the best results. An analysis of the different components of a neural network is done by constructing an instrumental neural network architecture. The conclusions drawn from this analysis show that we must use deep neural networks. This type of network is able to classify five meteorological classes of Cerema-AWH base with a classification score of 83% and three meteorological classes with a score of 99%Then, an analysis of the input and output data was made to study the impact of scenes change, the input's data and the meteorological classes number on the classification result.Finally, a database transfer method is developed. We study the portability from one site to another of our adverse weather conditions classification system. A classification score of 63% by making a transfer between a public database and Cerema-AWH database is obtained.After the classification, the second step of our study is to measure the meteorological visibility of the fog. For this, we use a neural network that generates continuous values. Two fog variants were tested: light and heavy fog combined and heavy fog (road fog) only. The evaluation of the result is done using a correlation coefficient R² between the real values and the predicted values. We compare this coefficient with the correlation coefficient between the two sensors used to measure the weather visibility on site. Among the results obtained and more specifically for road fog, the correlation coefficient reaches a value of 0.74 which is close to the physical sensors value (0.76).
De nos jours, les systèmes de vision sont de plus en plus utilisés dans le contexte routier. Ils permettent ainsi d'assurer la sécurité et faciliter la mobilité. Ces systèmes de vision sont généralement affectés par la dégradation des conditions météorologiques en présence de brouillard ou de pluie forte, phénomènes limitant la visibilité et réduisant ainsi la qualité des images. Afin d'optimiser les performances des systèmes de vision, il est nécessaire de disposer d'un système de détection fiable de ces conditions météorologiques défavorables.Il existe des capteurs météorologiques dédiés à la mesure physique, mais ils sont coûteux. Ce problème peut être résolu en utilisant les caméras qui sont déjà installées sur les routes. Ces dernières peuvent remplir simultanément deux fonctions : l'acquisition d'images pour les applications de surveillance et la mesure physique des conditions météorologiques au lieu des capteurs dédiés. Suite au grand succès des réseaux de neurones convolutifs (CNN) dans la classification et la reconnaissance d'images, nous avons utilisé une méthode d'apprentissage profond pour étudier le problème de la classification météorologique. L'objectif de notre étude est de chercher dans un premier temps à mettre au point un classifieur du temps, qui permet de discriminer entre temps « normal », brouillard et pluie. Dans un deuxième temps, une fois la classe connue, nous cherchons à développer un modèle de mesure de la distance de visibilité météorologique du brouillard. Rappelons que l'utilisation des CNN exige l'utilisation de bases de données d'apprentissage et de test. Pour cela, deux bases de données ont été utilisées, "Cerema-AWP database" (https://ceremadlcfmds.wixsite.com/cerema-databases), et la base "Cerema-AWH database", en cours d'acquisition depuis 2017 sur le site de la Fageole sur l'autoroute A75. Chaque image des deux bases est labellisée automatiquement grâce aux données météorologiques relevées sur le site permettant de caractériser diverses gammes de pluie et de brouillard. La base Cerema-AWH, qui a été mise en place dans le cadre de nos travaux, contient cinq sous-bases : conditions normales de jour, brouillard fort, brouillard faible, pluie forte et pluie faible. Les intensités de pluie varient de 0 mm/h à 70 mm/h et les visibilités météorologiques de brouillard varient entre 50m et 1800m. Parmi les réseaux de neurones connus et qui ont montré leur performance dans le domaine de la reconnaissance et la classification, nous pouvons citer LeNet, ResNet-152, Inception-v4 et DenseNet-121. Nous avons appliqué ces réseaux dans notre système de classification des conditions météorologiques dégradées. En premier lieu, une étude justificative de l'usage des réseaux de neurones convolutifs est effectuée. Elle étudie la nature de la donnée d'entrée et les hyperparamètres optimaux qu'il faut utiliser pour aboutir aux meilleurs résultats. Ensuite, une analyse des différentes composantes d'un réseau de neurones est menée en construisant une architecture instrumentale de réseau de neurones. La classification des conditions météorologiques avec les réseaux de neurones profonds a atteint un score de 83% pour une classification de cinq classes et 99% pour une classification de trois classes.Ensuite, une analyse sur les données d'entrée et de sortie a été faite permettant d'étudier l'impact du changement de scènes et celui du nombre de données d'entrée et du nombre de classes météorologiques sur le résultat de classification.Enfin, une méthode de transfert de bases de données a été appliquée. Cette méthode permet d'étudier la portabilité du système de classification des conditions météorologiques d'un site à un autre. Un score de classification de 63% a été obtenu en faisant un transfert entre une base publique et la base Cerema-AWH. (...)
Fichier principal
Vignette du fichier
2020CLFAC020_DAHMANE.pdf (13.95 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03022934 , version 1 (25-11-2020)

Identifiants

  • HAL Id : tel-03022934 , version 1

Citer

Khouloud Dahmane. Analyse d'images par méthode de Deep Learning appliquée au contexte routier en conditions météorologiques dégradées. Vision par ordinateur et reconnaissance de formes [cs.CV]. Université Clermont Auvergne [2017-2020], 2020. Français. ⟨NNT : 2020CLFAC020⟩. ⟨tel-03022934⟩
858 Consultations
9067 Téléchargements

Partager

Gmail Facebook X LinkedIn More